Inferenz-Logs

Ausführliche Erklärung

Wenn ein trainiertes KI-Modell im Produktivbetrieb Anfragen verarbeitet – etwa eine Kundenmail analysiert, eine Qualitätskontrolle durchführt oder eine Bonitätsprüfung unterstützt –, spricht man von Inferenz. Inferenz-Logs zeichnen diese Vorgänge systematisch auf: Wer hat wann welches Modell mit welchen Parametern abgefragt, wie lautete die Antwort, wie lange dauerte die Verarbeitung.

Diese Logs sind keine optionale Komfortfunktion, sondern erfüllen mehrere Zwecke: Sie ermöglichen es, Fehlerquellen nachzuvollziehen, das Modellverhalten über die Zeit zu überwachen und Anomalien wie ungewöhnlich hohe Aufrufzahlen oder auffällige Antwortmuster zu erkennen. Gerade bei KI-Schnittstellen, die von vielen Nutzerinnen und Nutzern gleichzeitig angesprochen werden, liefern Inferenz-Logs die Grundlage für Performance-Analysen und Kapazitätsplanung.

Aus rechtlicher Sicht gewinnen Inferenz-Logs in der EU an Bedeutung. Art. 12 der KI-Verordnung verlangt, dass ein Hochrisiko-KI-System Ereignisse über seinen gesamten Lebenszyklus automatisch protokolliert; die Protokolle sind nach Art. 19 (Anbieter) beziehungsweise Art. 26 Abs. 6 (Betreiber) mindestens sechs Monate aufzubewahren. Diese Pflichten greifen allerdings erst mit den verschobenen Hochrisiko-Fristen: für Systeme nach Anhang III ab 2. Dezember 2027, für Systeme nach Anhang I ab 2. August 2028. Wenn das Log vollständige Ein- und Ausgabedaten enthält – etwa wörtliche Prompts oder Antworten mit personenbezogenen Informationen –, ist es selbst eine Datenverarbeitung nach DSGVO und muss im Verarbeitungsverzeichnis geführt, mit einer Rechtsgrundlage versehen und mit Löschfristen hinterlegt werden.

Viele Cloud-Anbieter für KI-Schnittstellen bieten standardisierte Logging-Funktionen an, bei denen Sie Umfang, Stichprobengröße und Zielort der Logs konfigurieren können. Auch selbst gehostete Lösungen mit offenen Inferenz-Servern lassen sich mit einer Logging-Infrastruktur ausstatten. Wichtig ist: Protokollieren Sie nur so viel, wie Sie nachweislich für einen definierten Zweck benötigen, und schützen Sie die Logs wie die Produktivdaten selbst.

Code-Beispiel

import logging
from datetime import datetime

# Einfaches Inferenz-Logging (Pseudocode)
def log_inference(user_id, model_version, input_hash, output, latency_ms):
    log_entry = {
        "timestamp": datetime.utcnow().isoformat(),
        "user_id": user_id,
        "model": model_version,
        "input_hash": input_hash,  # Hash statt Volltext
        "output_length": len(output),
        "latency_ms": latency_ms
    }
    logging.info(f"INFERENCE: {log_entry}")
    # Optional: in strukturiertes Log-System (z. B. JSON, DB)
    
# Bei jeder Modellanfrage aufrufen