Hochrisiko-KI in der Verwaltung: Pflichten nach EU AI Act

Wenn ein Sozialamt KI einsetzt, um über die Bewilligung von Leistungen zu entscheiden, ist das kein Verwaltungs-Detail mehr — es ist Hochrisiko-KI im Sinne des EU AI Act. Die öffentliche Hand gilt im regulatorischen Denken gern als Anwender, nicht als Hersteller. Doch genau diese Rolle als Deployer löst eigene, teils strengere Pflichten aus. Behörden, die KI bei Bürgerinnen und Bürgern einsetzen, tragen eine Nachweispflicht, die über die der meisten privaten Anwender hinausgeht.

Warum Verwaltungs-KI in Annex III landet

Der EU AI Act (Verordnung (EU) 2024/1689) stuft ein System nach Art. 6 Abs. 2 als Hochrisiko ein, wenn es unter einen der Anwendungsfälle in Annex III fällt. Für die öffentliche Verwaltung sind mehrere dieser Bereiche unmittelbar relevant.

Annex III Nr. 5 erfasst den Zugang zu wesentlichen öffentlichen Leistungen: KI-Systeme, die über die Berechtigung für staatliche Unterstützungsleistungen entscheiden oder solche Leistungen gewähren, kürzen, entziehen oder zurückfordern, gelten als Hochrisiko. Das trifft Sozialleistungen, Wohngeld, Arbeitsförderung oder die Priorisierung von Notrufen. Annex III Nr. 6 betrifft die Strafverfolgung, Nr. 7 Migration, Asyl und Grenzkontrolle, Nr. 8 die Rechtspflege, etwa wenn KI eine Justizbehörde bei der Auslegung von Fakten und Recht unterstützt.

Die gemeinsame Logik: Überall dort, wo eine algorithmische Bewertung über Zugang zu Rechten, Leistungen oder staatlichem Zwang mitentscheidet, ist das Schadenspotenzial für Grundrechte hoch. Der Gesetzgeber zieht die Grenze nicht an der Technik, sondern am Einsatzkontext. Dieselbe Scoring-Logik kann im Marketing harmlos und im Leistungsbescheid Hochrisiko sein.

Die Behörde als Deployer — und was das bedeutet

Im Regelfall kauft eine Behörde KI bei einem externen Anbieter ein. Damit ist sie Deployer im Sinne des EU AI Act, nicht Provider. Die Provider-Pflichten — Konformitätsbewertung, technische Dokumentation, CE-Kennzeichnung — liegen beim Hersteller. Aber Art. 26 verpflichtet den Deployer eigenständig: Das System ist gemäß Gebrauchsanweisung zu betreiben, die menschliche Aufsicht ist sicherzustellen, die Eingabedaten müssen für den Zweck geeignet sein, und relevante Vorfälle sind dem Anbieter und der Aufsicht zu melden. Die automatisch erzeugten Logs sind aufzubewahren, soweit sie der Kontrolle des Deployers unterliegen.

Entscheidend ist: Diese Pflichten lassen sich nicht per Beschaffungsvertrag wegdelegieren. Eine Behörde, die ein zertifiziertes System einsetzt, bleibt für den konkreten Einsatz verantwortlich. Das CE-Zeichen des Herstellers sagt etwas über das Produkt aus — nichts darüber, ob die Behörde es im Einzelfall korrekt, kontrolliert und nachvollziehbar nutzt.

Die Grundrechte-Folgenabschätzung nach Art. 27

Hier liegt der Punkt, der den öffentlichen Sektor von den meisten privaten Deployern abhebt. Art. 27 verlangt eine Grundrechte-Folgenabschätzung (Fundamental Rights Impact Assessment, FRIA), bevor ein Hochrisiko-System in Betrieb genommen wird. Diese Pflicht trifft ausdrücklich Einrichtungen des öffentlichen Rechts sowie private Stellen, die öffentliche Dienste erbringen.

Die FRIA ist kein Formblatt. Sie muss den Einsatzprozess beschreiben, den Zeitraum und die Häufigkeit der Nutzung, die betroffenen Personengruppen, die spezifischen Risiken für deren Grundrechte, die Maßnahmen menschlicher Aufsicht und die Vorkehrungen für den Fall, dass Risiken sich verwirklichen. Die Aufsichtsbehörde ist über das Ergebnis zu informieren. Wer eine Datenschutz-Folgenabschätzung nach der DSGVO kennt, erkennt die Architektur — die FRIA ergänzt sie um die grundrechtliche Dimension jenseits des reinen Datenschutzes.

Genau an dieser Stelle entscheidet sich, ob eine Verwaltung nur eine Pflicht erfüllt oder belastbares Vertrauen aufbaut. Eine FRIA, die in der Schublade liegt und nie aktualisiert wird, hält einer Prüfung nicht stand. Eine FRIA, die laufend mit Logs, Aufsichtsentscheidungen und Vorfallberichten unterlegt ist, wird zum nachweisbaren Beleg verantwortungsvollen Einsatzes. Mehr zu den Pflichten rund um Hochrisiko-Systeme bündelt hochrisiko-ki.com.

Was bis zum Forcing Event vorliegen sollte

Die Pflichten für Hochrisiko-Systeme nach Annex III greifen mit der vollen Durchsetzung des EU AI Act zum 02.12.2027 (Digital Omnibus). Für Behörden ist das kein fernes Datum, denn der Beschaffungs- und Einführungszyklus im öffentlichen Sektor ist lang. Ein System, das 2027 produktiv laufen soll, wird realistisch jetzt ausgeschrieben oder pilotiert.

Sinnvoll ist daher, schon heute drei Dinge belegbar zu machen. Erstens: ein Inventar, welche eingesetzten oder geplanten KI-Systeme überhaupt unter Annex III fallen — viele Verwaltungen unterschätzen, wie viele Scoring- und Priorisierungslogiken bereits im Einsatz sind. Zweitens: für jedes Hochrisiko-System eine FRIA, die nicht nur existiert, sondern gepflegt wird. Drittens: ein Nachweismechanismus, der menschliche Aufsicht, Logs und Vorfälle so dokumentiert, dass sie bei einer Prüfung ohne Rekonstruktion vorliegen.

Diese Logik gilt für die Rechtsräume unterschiedlich: In DE und im übrigen EU27-Raum greift der EU AI Act direkt. In UK existiert bislang ein prinzipienbasierter, sektoraler Ansatz ohne deckungsgleiche FRIA-Pflicht. In CH regelt der Datenschutz vieles, doch wer Systeme oder Leistungen mit EU-Bezug erbringt, kann über den Marktort in die EU-Pflichten geraten.

Fazit: Vertrauen ist die eigentliche Pflicht

Der öffentliche Sektor steht unter besonderer Beobachtung, weil seine KI-Entscheidungen Bürgerinnen und Bürger unmittelbar treffen und selten freiwillig sind. Der EU AI Act macht daraus über Art. 27 eine ausdrückliche, dokumentierte Verantwortung. Wer das nur als Bürokratie liest, verkennt den Kern: Eine Verwaltung, die nachweisen kann, wie und warum ein System eingesetzt wird, schützt nicht nur sich vor Sanktionen — sie schützt das Vertrauen, von dem öffentliches Handeln lebt.

Genau hier setzt evidenzbasierte AI Trust an: nicht das Versprechen, alles sei sicher, sondern der belastbare, audit-fähige Nachweis, dass Einsatz, Aufsicht und Risiken kontrolliert sind. Mehr zur AEGIRA Trust-Platform: aegira.ai.