Risikomanagementsystem nach Art. 9 (EU AI Act Anforderung)
Ein dokumentiertes System zur systematischen Identifikation, Bewertung und Minderung von Risiken, das für Hochrisiko-KI-Systeme nach dem EU AI Act verpflichtend ist. Es muss als kontinuierlicher iterativer Prozess über den gesamten Lebenszyklus des Systems aufrechterhalten werden.
Ausführliche Erklärung
Artikel 9 der EU-Verordnung 2024/1689 (AI Act) legt fest, dass Anbieter von Hochrisiko-KI-Systemen ein Risikomanagementsystem einrichten, umsetzen, dokumentieren und aufrechterhalten müssen. Dabei handelt es sich nicht um eine einmalige Bewertung bei Markteinführung, sondern um einen kontinuierlichen iterativen Prozess, der während des gesamten Lebenszyklus des KI-Systems geplant und durchgeführt wird und regelmäßige systematische Überprüfung und Aktualisierung erfordert.
Das System umfasst vier Schritte: Erstens die Identifikation und Analyse bekannter und vernünftigerweise vorhersehbarer Risiken für Gesundheit, Sicherheit oder Grundrechte, wenn das System bestimmungsgemäß eingesetzt wird. Zweitens die Abschätzung und Bewertung von Risiken, die bei bestimmungsgemäßer Verwendung oder vernünftigerweise vorhersehbarer Fehlanwendung entstehen können. Drittens die Bewertung weiterer Risiken auf Grundlage von Daten aus der Post-Market-Beobachtung nach Artikel 72. Viertens die Ergreifung geeigneter und gezielter Risikomanagementmaßnahmen zur Bewältigung der identifizierten Risiken.
Die Anforderung betrifft ausschließlich solche Risiken, die durch Entwicklung oder Konzeption des Hochrisiko-KI-Systems oder durch Bereitstellung ausreichender technischer Informationen angemessen gemindert oder behoben werden können. Die Risikomanagementmaßnahmen müssen so gestaltet werden, dass jedes relevante Restrisiko sowie das Gesamtrestrisiko als vertretbar beurteilt wird. Hochrisiko-KI-Systeme müssen getestet werden, um die am besten geeigneten Risikomanagementmaßnahmen zu ermitteln und sicherzustellen, dass sie im Einklang mit ihrer Zweckbestimmung funktionieren. Die Tests erfolgen anhand vorab festgelegter Metriken und Wahrscheinlichkeitsschwellenwerte.
Bei der Umsetzung des Risikomanagementsystems müssen Anbieter besonders berücksichtigen, ob das Hochrisiko-KI-System wahrscheinlich nachteilige Auswirkungen auf Personen unter 18 Jahren oder andere schutzbedürftige Gruppen haben wird. Das Risikomanagementsystem bildet die Grundlage für weitere Compliance-Schritte: Die technische Dokumentation nach Artikel 11 referenziert die Risikoanalyse, die Konformitätsbewertung prüft sie, und das Post-Market-Monitoring speist sie kontinuierlich mit neuen Erkenntnissen.
Praxisbeispiel
Ein Softwarehaus aus Linz mit 45 Mitarbeitern entwickelt ein KI-gestütztes Bewerbermanagement-System für die Personalauswahl, das nach Anhang III des AI Act als Hochrisiko-System eingestuft wird. Das Unternehmen richtet ein Risikomanagementsystem ein, das systematisch potenzielle Diskriminierungsrisiken durch Bias in den Trainingsdaten analysiert, technische Schwellenwerte für Fairness-Metriken definiert und menschliche Aufsichtsmechanismen vorsieht. Nach der Markteinführung werden über ein Post-Market-Monitoring-System laufend Nutzungsdaten ausgewertet, um mögliche Verzerrungen frühzeitig zu erkennen und das Risikomanagementsystem entsprechend anzupassen.