Excessive Agency

Ausführliche Erklärung

Excessive Agency entsteht, wenn KI-Systeme – insbesondere Large Language Models mit Tool-Zugriff – mehr Handlungsspielraum erhalten, als ihre eigentliche Aufgabe erfordert. Das Open Worldwide Application Security Project (OWASP) führt diese Schwachstelle in seiner Top 10 für LLM-Anwendungen: In der Ausgabe 2025 lief sie unter der Kennung LLM06:2025, in der Ausgabe 2026 ist sie als LLM03:2026 auf Platz drei vorgerückt (Stand: September 2026). Der Aufstieg spiegelt wider, dass KI-Agenten mit Speicher, Werkzeugzugriff und mehrstufigen Arbeitsschritten inzwischen produktiv im Einsatz sind. Die Verwundbarkeit entsteht nicht durch das Sprachmodell selbst, sondern durch die Systemarchitektur: Sobald ein Modell mit APIs, Datenbanken, E-Mail-Systemen oder Cloud-Ressourcen interagieren kann, wird jede Fehlfunktion oder Manipulation potenziell folgenreich.

OWASP nennt drei Grundursachen. Übermäßige Funktionalität bedeutet, dass das System Werkzeuge aufrufen kann, die es für seine Aufgabe nie benötigt – etwa wenn ein Werkzeug zum Lesen von Dokumenten auch Schreib- und Löschrechte besitzt. Übermäßige Berechtigungen liegen vor, wenn das KI-System mit Administratorrechten auf Systeme zugreift, obwohl Lesezugriff genügen würde. Übermäßige Autonomie bezeichnet fehlende menschliche Kontrollpunkte vor kritischen Aktionen. Diese Schwachstelle unterscheidet sich von unsicherer Ausgabeverarbeitung: Es geht nicht darum, was das Modell sagt, sondern was es tun kann.

Der Auslöser für schädliche Aktionen kann vielfältig sein: eine Halluzination, eine Prompt Injection, mehrdeutige Anweisungen oder schlicht ein falsch interpretierter Auftrag. Kritisch wird es erst, wenn das System aufgrund seiner Berechtigungen realen Schaden anrichten kann. Die Folgen reichen von Datenlecks über ungewollte Systemänderungen bis hin zu finanziellen Transaktionen oder dem Versand sensibler Kommunikation. Das Risiko betrifft Unternehmen jeder Größe, sobald autonome KI-Agenten in Geschäftsprozesse eingebunden werden, ohne dass eine passende Sicherheitsarchitektur dahintersteht.

Das Prinzip der minimalen Handlungsfähigkeit (Least Agency) – analog zum Least Privilege-Prinzip in der IT-Sicherheit – bildet die Grundlage wirksamer Gegenmaßnahmen. Dazu gehören die strenge Beschränkung verfügbarer Werkzeuge, Nur-Lese-Zugriffe wo immer möglich, zeitlich begrenzte Zugriffstoken und vor allem Human-in-the-Loop-Mechanismen bei irreversiblen Aktionen. Anthropics Leitfaden „Zero Trust for AI Agents“ vom Mai 2026 empfiehlt ausdrücklich, Zugriffskontrolle und Autonomie getrennt zu betrachten: Ein Agent sollte nicht automatisch alles tun dürfen, worauf er Zugriff hat.

Code-Beispiel

# Risikoreduzierung durch explizite Tool-Beschränkung
from typing import Literal

def safe_crm_tool(
    action: Literal["read"],  # Nur Lesen erlaubt
    customer_id: str,
    user_context: dict
) -> dict:
    # Prüfung: Nutzer darf nur eigene Daten sehen
    if customer_id != user_context["customer_id"]:
        raise PermissionError("Zugriff verweigert")

    # Nur Lesezugriff implementiert
    return database.read_customer(customer_id)

# Unsicher: Zu viele Funktionen
# action: Literal["read", "update", "delete"]