Published on

Hochrisiko-KI in Justiz und Strafverfolgung

Authors

Wenn über Hochrisiko-KI gesprochen wird, geht es meist um Recruiting, Kreditvergabe oder Medizinprodukte. Zwei Anwendungsbereiche werden dabei regelmäßig übersehen, obwohl sie in Annex III des EU AI Act ausdrücklich benannt sind und die tiefsten Eingriffe in individuelle Rechtspositionen bedeuten: Strafverfolgung und Rechtspflege. Polizeibehörden, Staatsanwaltschaften und Gerichte sind keine Randfälle der Verordnung — sie sind die Fälle, an denen sich die Ernsthaftigkeit des Regelwerks bemisst.

Für Behörden in DE, im EU27-Rest sowie für Anbieter, die solche Systeme liefern, ergibt sich daraus eine doppelte Aufgabe. Sie müssen erstens sauber trennen, was verboten, was hochriskant und was unkritisch ist. Und sie müssen zweitens nachweisen können, dass sie diese Einordnung getroffen und begründet haben. Der zweite Teil ist der schwierigere.

Was Annex III für Strafverfolgung erfasst

Annex III Nr. 6 des EU AI Act listet KI-Systeme im Bereich Strafverfolgung als Hochrisiko-Anwendungen. Erfasst sind unter anderem Systeme, die Behörden zur Bewertung des Risikos einsetzen, dass eine natürliche Person Opfer einer Straftat wird; Polygrafen und vergleichbare Instrumente; Systeme zur Bewertung der Zuverlässigkeit von Beweismitteln im Zuge von Ermittlungen; sowie Systeme zur Bewertung des Risikos, dass eine Person eine Straftat begeht oder erneut begeht, soweit diese Bewertung nicht ausschließlich auf der Profilerstellung beruht.

Diese letzte Einschränkung ist keine Entwarnung, sondern eine Abgrenzung. Wo die Risikobewertung ausschließlich auf Profiling oder auf der Bewertung von Persönlichkeitsmerkmalen basiert, verlässt man den Hochrisiko-Bereich nach Annex III und landet bei den verbotenen Praktiken nach Art. 5 — der EU AI Act untersagt in Art. 5 Abs. 1 lit. d ausdrücklich KI-Systeme zur Vorhersage der Begehung von Straftaten allein auf Grundlage von Profiling oder Persönlichkeitsmerkmalen. Ein System fällt also nicht dadurch in eine mildere Kategorie, dass es weniger Datenquellen nutzt. Es fällt dadurch möglicherweise ganz aus dem zulässigen Rahmen.

Diese Grenze verläuft in der Praxis nicht dort, wo sie in der Systembeschreibung des Anbieters verläuft. Sie verläuft dort, wo die tatsächliche Entscheidungslogik sie zieht. Wer sie bestimmen will, muss belegen können, welche Merkmale ein System tatsächlich verwendet — nicht, welche in der Produktbroschüre stehen.

Rechtspflege: Annex III Nr. 8

Annex III Nr. 8 erfasst KI-Systeme, die von einer Justizbehörde oder in deren Namen eingesetzt werden, um Justizbehörden bei der Ermittlung und Auslegung von Sachverhalten und Rechtsvorschriften sowie bei der Anwendung des Rechts auf konkrete Sachverhalte zu unterstützen. Ebenfalls erfasst sind Systeme, die in vergleichbarer Weise in alternativen Streitbeilegungsverfahren eingesetzt werden.

Der Erwägungsgrund zum EU AI Act stellt klar, dass rein administrative Tätigkeiten der Justiz — Anonymisierung, Aktenverwaltung, Kommunikation zwischen Verfahrensbeteiligten, Ressourcenzuweisung — nicht als Hochrisiko einzustufen sind. Damit entsteht eine Trennlinie, die sich leicht formulieren, aber schwer operationalisieren lässt: unterstützt das System die Rechtsfindung, oder verwaltet es nur den Vorgang?

Ein Rechercheassistent, der Fundstellen priorisiert, wirkt administrativ. Sobald die Priorisierung aber beeinflusst, welche Rechtsprechung eine Kammer sieht und welche nicht, wirkt er auf die Rechtsanwendung ein. Die Einordnung hängt hier nicht am Etikett, sondern an der Wirkungskette. Genau deshalb ist die Klassifizierungsentscheidung selbst dokumentationspflichtig — sie ist Teil des Risikomanagementsystems nach Art. 9 und muss im Zweifel gegenüber der Marktüberwachungsbehörde begründet werden.

Warum der öffentliche Sektor eine besondere Nachweislage hat

Behörden treffen als Deployer die Betreiberpflichten aus Art. 26, und für Einrichtungen des öffentlichen Rechts kommt Art. 27 hinzu: die Grundrechte-Folgenabschätzung. Wer als öffentliche Stelle ein Hochrisiko-KI-System nach Annex III betreibt, muss vor der Inbetriebnahme abschätzen, welche Auswirkungen auf die Grundrechte betroffener Personen zu erwarten sind, welche Schutzmaßnahmen greifen und wie die menschliche Aufsicht organisiert ist.

In Strafverfolgung und Justiz ist das keine Formalie. Die betroffenen Rechtspositionen sind Freiheit, Unschuldsvermutung, rechtliches Gehör, effektiver Rechtsschutz. Eine Folgenabschätzung, die diese Positionen benennt, aber nicht nachweisen kann, auf welcher Systemversion, welcher Datengrundlage und welchem Testergebnis sie beruht, ist im Aufsichtsverfahren wenig wert.

Zusätzlich gilt für Behörden die Registrierungspflicht: Betreiber, die Behörden oder Einrichtungen der Union sind, müssen sich nach Art. 49 Abs. 3 in der EU-Datenbank registrieren, bevor sie ein Hochrisiko-KI-System nach Annex III in Betrieb nehmen. Für bestimmte Systeme in Strafverfolgung, Migration und Grenzkontrolle sieht der EU AI Act einen nicht-öffentlichen Teil dieser Datenbank vor. Die Registrierung entfällt dadurch nicht — sie wird nur nicht öffentlich einsehbar. Der Nachweis muss trotzdem existieren.

Was jetzt tragfähig aufgebaut wird

Bis zur Enforcement-Wirkung des EU AI Act am 02.12.2027 liegt die eigentliche Arbeit nicht in der Beschaffung neuer Werkzeuge, sondern im Aufbau einer belastbaren Beweislage. Drei Elemente tragen dabei am weitesten.

Erstens ein vollständiges Inventar der eingesetzten Systeme, einschließlich derer, die als Fachverfahren-Feature eingekauft wurden und nie als KI-System klassifiziert worden sind. Zweitens eine dokumentierte Klassifizierungsentscheidung je System, die die Abgrenzung zwischen Art. 5, Annex III Nr. 6, Annex III Nr. 8 und administrativer Nutzung explizit begründet — mit Datum, Verantwortlichem und zugrunde liegender Systemversion. Drittens ein Audit-Trail, der Modellversion, Datengrundlage, Testergebnisse und die tatsächlich ausgeübte menschliche Aufsicht so verknüpft, dass eine spätere Prüfung den Zustand zum Entscheidungszeitpunkt rekonstruieren kann.

Der dritte Punkt ist der, an dem die meisten Organisationen scheitern. Nicht weil sie keine Aufsicht ausüben, sondern weil sie sie nicht nachweisen können. Ein Richter, der einer Systemempfehlung nicht gefolgt ist, hat menschliche Aufsicht ausgeübt. Ohne Protokollierung dieses Vorgangs ist die Aufsicht rechtlich existent und praktisch unbeweisbar.

Genau hier verschiebt sich der Blickwinkel von Compliance-Software zu Trust-Infrastructure: Nicht ein Fragebogen erzeugt Vertrauen, sondern eine durchgängige, manipulationsresistente Evidenzkette, aus der Compliance als Folge ableitbar wird. Eine vertiefte Übersicht der Annex-III-Kategorien und ihrer Betreiberpflichten findet sich auf hochrisiko-ki.com.

Fazit

Strafverfolgung und Justiz sind die Bereiche, in denen der EU AI Act am schärfsten zwischen zulässig, hochriskant und verboten trennt — und in denen die Einordnung am wenigsten aus dem Produktnamen ablesbar ist. Wer hier Systeme betreibt, sollte die Klassifizierung nicht als einmalige Prüfung behandeln, sondern als dauerhaft nachweispflichtige Entscheidung. Der Unterschied zeigt sich nicht im Betrieb, sondern im Audit.

Evidence-based AI Trust bedeutet, diese Nachweise nicht nachträglich zu rekonstruieren, sondern sie im laufenden Betrieb entstehen zu lassen. Mehr zur AEGIRA Trust-Platform: aegira.ai