Unannehmbares Risiko

Ausführliche Erklärung

Der AI Act kennt eine oberste Stufe, auf der keine Auflagen mehr helfen: KI-Systeme mit unannehmbarem Risiko dürfen in der Europäischen Union seit 2. Februar 2025 weder in Verkehr gebracht noch in Betrieb genommen oder verwendet werden. Anders als bei einem Hochrisiko-KI-System gibt es keine Konformitätsbewertung und kein Risikomanagementsystem, mit dem sich ein verbotenes System zulässig machen ließe – das Verbot ist absolut. Die operative Norm ist Artikel 5 der KI-Verordnung, überschrieben mit „Verbotene Praktiken im KI-Bereich“; „unannehmbares Risiko“ ist die Bezeichnung, mit der die Verordnung diese Stufe beschreibt.

Artikel 5 Absatz 1 listet derzeit acht Verbote. Untersagt sind Systeme, die Menschen mit unterschwelligen oder manipulativen Techniken in ihrem Verhalten wesentlich beeinflussen; Systeme, die Schwächen aufgrund von Alter, Behinderung oder sozialer Lage ausnutzen; Social Scoring, also die Bewertung von Personen nach ihrem Sozialverhalten mit benachteiligender Wirkung – und zwar durch öffentliche wie durch private Stellen; die Vorhersage von Straftaten allein auf Basis von Profiling oder Persönlichkeitsmerkmalen; das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder aus Überwachungsaufnahmen zum Aufbau von Gesichtserkennungsdatenbanken; die Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen (Ausnahme nur aus medizinischen oder Sicherheitsgründen); die biometrische Kategorisierung zur Ableitung sensibler Merkmale wie politischer Überzeugung, Religion, ethnischer Herkunft oder sexueller Orientierung; sowie die biometrische Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken, die nur in eng umgrenzten Fällen zulässig ist.

Mit dem Digital Omnibus (Verordnung (EU) 2026/1744) wurde die Liste erweitert: Ab 2. Dezember 2026 kommen zwei weitere Verbote hinzu – KI-Systeme, die ohne ausdrückliche Einwilligung realistische intime oder sexuell explizite Darstellungen identifizierbarer Personen erzeugen oder verändern, und Systeme, die Darstellungen sexuellen Kindesmissbrauchs erzeugen. Ab diesem Stichtag sind es zehn Verbote. Wer generative Bild- oder Videomodelle anbietet oder in eigene Anwendungen einbaut, sollte die entsprechenden Schutzvorkehrungen vorher prüfen.

Die Europäische Kommission hat im Februar 2025 Leitlinien zur Auslegung der verbotenen Praktiken veröffentlicht und überprüft die Liste regelmäßig. Das Verbot gilt rollenübergreifend: Anbieter und Betreiber verstoßen gleichermaßen gegen die Verordnung. Unternehmen sollten daher eine Bestandsaufnahme aller eingesetzten KI-Funktionen machen – auch der eingekauften und der in Cloud-Produkten mitgelieferten – und prüfen, ob eine davon in den Verbotsbereich fällt. Typische Stolperstellen sind Emotionsanalysen in Recruiting- oder Servicewerkzeugen und biometrische Auswertungen in Kundensystemen.

Die Sanktionen sind die höchsten des AI Act: nach Artikel 99 Absatz 3 bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist. Für kleine und mittlere Unternehmen sowie Start-ups gilt nach Absatz 6 der jeweils niedrigere Betrag (siehe Sanktionen im EU AI Act).