Erkennungsquote
Die Erkennungsquote beschreibt den Anteil korrekt identifizierter Objekte, Zeichen oder Muster durch ein KI-System im Verhältnis zur Gesamtheit der tatsächlich vorhandenen Elemente. Sie ist eine zentrale Qualitätsmetrik zur Bewertung von KI-Anwendungen wie Bilderkennung oder OCR.
Ausführliche Erklärung
Die Erkennungsquote, im englischsprachigen Raum als "Recall" oder "Recognition Rate" bezeichnet, ist eine fundamentale Kennzahl zur Bewertung der Leistungsfähigkeit von Machine-Learning-Modellen und KI-Systemen. Sie gibt an, welcher Prozentsatz der tatsächlich vorhandenen relevanten Elemente vom System auch tatsächlich erkannt wurde. Ein System mit 95 Prozent Erkennungsquote identifiziert 95 von 100 vorhandenen Objekten korrekt, übersieht jedoch fünf.
Für KMU ist die Erkennungsquote besonders bei der Bewertung konkreter KI-Anwendungen relevant: In der optischen Zeichenerkennung (OCR) erreichen moderne Systeme bei standardisierten Geschäftsdokumenten Erkennungsraten von über 99 Prozent, während bei handschriftlichen Texten je nach Lesbarkeit nur 80 bis 95 Prozent möglich sind. In der Qualitätskontrolle mittels Bilderkennung werden in der Praxis Erkennungsquoten von 99,7 Prozent erreicht. Die tatsächlich erforderliche Erkennungsquote hängt vom Anwendungsfall ab: Bei Spam-Filtern ist es akzeptabel, wenn einige Spam-Mails durchrutschen, während in der medizinischen Diagnostik oder Qualitätskontrolle deutlich höhere Anforderungen gelten.
Wichtig ist die Unterscheidung zwischen Erkennungsquote (Recall) und Genauigkeit (Precision): Die Erkennungsquote misst, wie vollständig das System relevante Elemente findet, während die Genauigkeit angibt, wie viele der vom System gemeldeten Treffer tatsächlich korrekt sind. Beide Kennzahlen stehen häufig in einem Trade-off-Verhältnis: Eine Erhöhung der Erkennungsquote führt oft zu mehr Fehlalarmen und damit niedrigerer Genauigkeit. Die Optimierung erfolgt je nach Geschäftsanforderung, wobei sich Entscheider bewusst sein sollten, dass selbst eine Erkennungsquote von 99,9 Prozent noch einen Fehler pro 1.000 Zeichen oder Objekten bedeutet.
Praxisbeispiel
Ein österreichisches Steuerberatungsunternehmen mit 25 Mitarbeitenden setzt OCR-Software zur Digitalisierung eingehender Belege ein. Bei standardisierten Rechnungen erreicht das System eine Erkennungsquote von 99,2 Prozent. Das bedeutet: Von 1.000 eingehenden Belegen werden 992 korrekt erfasst, während 8 Dokumente manuell nachbearbeitet werden müssen. Die Kanzlei hat sich für diesen Wert entschieden, weil eine höhere Erkennungsquote zu mehr Fehlalarmen führen würde.
Code-Beispiel
from sklearn.metrics import recall_score
# Tatsächliche Werte (Ground Truth)
y_true = [1, 1, 0, 1, 0, 1, 0, 0, 1, 1]
# Vorhersagen des Modells
y_pred = [1, 1, 0, 0, 0, 1, 0, 0, 1, 1]
# Berechnung der Erkennungsquote (Recall)
recall = recall_score(y_true, y_pred)
print(f"Erkennungsquote: {recall:.1%}")
# Ausgabe: Erkennungsquote: 80.0%
# Von 6 positiven Fällen wurden 4 erkannt