Model Drift

Ausführliche Erklärung

Ein Machine-Learning-Modell wird auf historischen Daten trainiert und lernt dabei bestimmte Muster und Zusammenhänge. Im praktischen Einsatz trifft es jedoch auf kontinuierlich neue Daten aus der realen Welt. Sobald sich deren statistische Eigenschaften oder die erlernten Beziehungen zwischen Eingabedaten und Zielwerten ändern, verliert das Modell schrittweise an Vorhersagekraft – es "driftet" weg von seiner ursprünglichen Leistungsfähigkeit. Dieses Phänomen ist unvermeidlich, da sich Geschäftsumgebungen, Kundenverhaltensweisen und externe Rahmenbedingungen permanent wandeln.

Model Drift ist ein Überbegriff für verschiedene Ursachen. Die beiden wichtigsten Formen sind Data Drift und Concept Drift. Data Drift tritt auf, wenn sich die Verteilung der Eingabedaten ändert – etwa weil neue Kundengruppen hinzukommen oder sich Marktbedingungen verschieben. Concept Drift hingegen beschreibt eine Veränderung in der Beziehung zwischen Eingabe und Zielwert: Das, was das Modell vorhersagen soll, hat sich inhaltlich gewandelt. Ein klassisches Beispiel ist Spam-Erkennung, bei der sich die Merkmale von Spam-Mails im Laufe der Jahre fundamental verändern.

Für KMU ist Model Drift besonders relevant, sobald sie KI-Systeme produktiv einsetzen – sei es für Betrugserkennung, Nachfrageprognosen, Preisoptimierung oder automatisierte Kundenklassifizierung. Ohne systematisches Monitoring und regelmäßiges Nachtraining können Fehlentscheidungen, sinkende Umsätze oder regulatorische Risiken entstehen. Ein robustes MLOps-Konzept, das Drift frühzeitig erkennt, ist daher essenziell für den nachhaltigen Erfolg von KI-Projekten.

Typische Gegenmaßnahmen umfassen kontinuierliches Performance-Monitoring, automatisiertes Nachtraining mit aktuellen Daten sowie statistische Tests wie der Population Stability Index (PSI), um Veränderungen in Datenverteilungen quantifizierbar zu machen. Unter der EU-KI-Verordnung werden solche Monitoring-Prozesse für Hochrisiko-KI-Systeme zudem verpflichtend.

Code-Beispiel

import pandas as pd
from scipy.stats import ks_2samp

# Vergleich von Trainings- und Produktionsdaten
def detect_drift(train_data, prod_data, threshold=0.05):
    """Erkennt Data Drift mittels Kolmogorov-Smirnov-Test"""
    drift_detected = {}
    
    for column in train_data.columns:
        statistic, p_value = ks_2samp(
            train_data[column], 
            prod_data[column]
        )
        drift_detected[column] = p_value < threshold
    
    return drift_detected