Konfusionsmatrix-Rechner

Verwenden Sie eine Konfusionsmatrix bei der Bewertung eines binären Klassifikators - ob es sich um ein maschinelles Lernmodell, einen diagnostischen Test oder ein beliebiges System handelt, das Ja/Nein-Vorhersagen trifft. Die Matrix zeigt nicht nur die Gesamtgenauigkeit, sondern auch die spezifischen Arten von Fehlern, die gemacht werden.

Was ist eine Konfusionsmatrix?

Eine Konfusionsmatrix kreuztabelliert Vorhersagen gegen tatsächliche Ergebnisse:

Die vier Ergebnisse

Wichtige Metriken

Genauigkeit (Accuracy)

$Genauigkeit = \frac{RP + RN}{RP + RN + FP + FN}$

Gesamtanteil der korrekten Vorhersagen. Kann bei unausgewogenen Klassen irreführend sein.

Präzision (Positiver Vorhersagewert)

$Präzision = \frac{RP}{RP + FP}$

Von allen positiven Vorhersagen, wie viele waren korrekt? "Wenn ich Ja sage, wie oft habe ich recht?"

Recall (Sensitivität, Richtig-Positiv-Rate)

$Recall = \frac{RP}{RP + FN}$

Von allen tatsächlich Positiven, wie viele habe ich gefunden? "Von allen Ja-Fällen, wie viele habe ich erfasst?"

Spezifität (Richtig-Negativ-Rate)

$Spezifität = \frac{RN}{RN + FP}$

Von allen tatsächlich Negativen, wie viele habe ich korrekt identifiziert?

F1-Score

$F_1 = 2 \times \frac{Präzision \times Recall}{Präzision + Recall}$

Harmonisches Mittel von Präzision und Recall. Balanciert beide Aspekte.

Negativer Vorhersagewert (NPV)

$NPV = \frac{RN}{RN + FN}$

Von allen negativen Vorhersagen, wie viele waren korrekt?

Beispielrechnung

Spam-Filter-Ergebnisse bei 1000 E-Mails:

• RP = 80, FP = 30, FN = 20, RN = 870
• Gesamt = 1000

Berechnungen:

• Genauigkeit = (80 + 870) / 1000 = 95%
• Präzision = 80 / 110 = 72,7%
• Recall = 80 / 100 = 80%
• Spezifität = 870 / 900 = 96,7%
• F1 = 2 × (0,727 × 0,80) / (0,727 + 0,80) = 76,2%

Der Präzision-Recall-Kompromiss

Sie können nicht beides gleichzeitig maximieren. Das Senken des Klassifikationsschwellenwerts:

• ↑ Recall (mehr Positive erfassen)
• ↓ Präzision (mehr Fehlalarme)

Wann Recall priorisieren:

• Krankheitsscreening (keine Fälle verpassen)
• Betrugserkennung (mehr untersuchen)
• Sicherheitskritische Systeme

Wann Präzision priorisieren:

• Spam-Filterung (Belästigung minimieren)
• Empfehlungen (Qualität vor Quantität)
• Kostspielige Eingriffe

Zusätzliche Metriken

Falsch-Positiv-Rate (Fall-out)

$FPR = \frac{FP}{FP + RN} = 1 - Spezifität$

Falsch-Negativ-Rate (Verpasserrate)

$FNR = \frac{FN}{RP + FN} = 1 - Recall$

Falschentdeckungsrate

$FDR = \frac{FP}{RP + FP} = 1 - Präzision$

Matthews-Korrelationskoeffizient

$MCC = \frac{RP \times RN - FP \times FN}{\sqrt{(RP+FP)(RP+FN)(RN+FP)(RN+FN)}}$

Bereich von -1 bis +1. Ausgewogenes Maß auch bei unausgewogenen Klassen.

Ausgewogene Genauigkeit

$Ausgewogene\ Genauigkeit = \frac{Sensitivität + Spezifität}{2}$

Durchschnitt der Leistung für jede Klasse.

Das Klassenungleichgewichtsproblem

Bei seltenen Ereignissen (z.B. 1% positive Rate) ist die Genauigkeit irreführend:

Beispiel: 10.000 Fälle, 100 positiv, 9.900 negativ

• Klassifikator sagt "negativ" für alles vorher
• Genauigkeit = 99%!
• Aber Recall = 0% (alle Positiven verpasst)

Lösungen:

• Präzision, Recall, F1 statt Genauigkeit verwenden
• Ausgewogene Genauigkeit oder MCC verwenden
• Kostengewichtete Metriken berücksichtigen
• Klassifikationsschwellenwert anpassen

ROC und AUC

Die ROC-Kurve stellt Recall gegen FPR bei verschiedenen Schwellenwerten dar:

• Fläche unter der Kurve (AUC) fasst die Gesamtleistung zusammen
• AUC = 0,5 = Zufallsraten
• AUC = 1,0 = perfekte Klassifikation

Präzision-Recall-Kurve

Bei unausgewogenen Daten sind Präzision-Recall-Kurven informativer als ROC:

• Präzision gegen Recall bei verschiedenen Schwellenwerten darstellen
• Fläche unter der PR-Kurve (PR-AUC) fasst die Leistung zusammen
• Empfindlicher für Änderungen in der Leistung der Minderheitsklasse

Mehrklassen-Erweiterung

Für k Klassen ist die Konfusionsmatrix k × k:

Metriken pro Klasse berechnen, dann mitteln:

• Makro-Durchschnitt: Durchschnitt über Klassen (gleiche Gewichtung)
• Mikro-Durchschnitt: Aggregieren, dann berechnen (nach Klassengröße gewichtet)
• Gewichteter Durchschnitt: Nach Klassenhäufigkeit gewichten

Anwendungen

Medizinische Diagnose

• RP: Krankheit erkannt, Patient hat Krankheit
• FP: Krankheit erkannt, Patient gesund (unnötige Behandlung)
• FN: Krankheit verpasst (gefährlich!)
• RN: Gesund korrekt identifiziert

Betrugserkennung

• RP: Betrug erkannt
• FP: Fehlalarm (Kunde belästigt)
• FN: Betrug verpasst (finanzieller Verlust)
• RN: Legitime Transaktion genehmigt

Suchmaschinen

• RP: Relevantes Ergebnis angezeigt
• FP: Irrelevantes Ergebnis angezeigt
• FN: Relevantes Ergebnis nicht angezeigt
• RN: Irrelevantes Ergebnis korrekt ausgeschlossen

Kostenempfindliche Klassifikation

Wenn Fehler unterschiedliche Kosten haben:

$Gesamtkosten = K_{FP} \times FP + K_{FN} \times FN$

Schwellenwert anpassen, um Gesamtkosten zu minimieren, nicht Genauigkeit zu maximieren.

Beispiel: Wenn das Verpassen eines Krebsfalls 100× mehr kostet als ein Falsch-Positiv, FN stark gewichten.

Schwellenwertauswahl

Die meisten Klassifikatoren geben Wahrscheinlichkeiten aus. Schwellenwert wählen basierend auf:

1. Geschäftsanforderungen: Erforderliches Präzisions- oder Recall-Niveau
2. Kostenanalyse: Erwartete Kosten minimieren
3. F1-Optimierung: F1-Score maximieren
4. Youdens J: (Sensitivität + Spezifität - 1) maximieren

Konfidenzintervalle

Für Anteile wie Präzision und Recall binomiale Konfidenzintervalle verwenden:

$\hat{p} \pm z \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}$

Oder Bootstrap für komplexere Metriken wie F1 verwenden.

Berichtsrichtlinien

Einbeziehen:

• Vollständige Konfusionsmatrix
• Präzision, Recall, F1 bei gewähltem Schwellenwert
• ROC-AUC oder PR-AUC für schwellenwertunabhängige Bewertung
• Klassenverteilung im Testdatensatz
• Konfidenzintervalle für Schlüsselmetriken

Beispiel: "Das Modell erreichte 95% Genauigkeit auf dem Testdatensatz (n=1000). Angesichts des 10:1-Klassenungleichgewichts konzentrieren wir uns jedoch auf Präzision (72,7%) und Recall (80,0%), was F1 = 76,2% ergibt. Die ROC-AUC betrug 0,91."

Verwandte Berechnungen

• ROC-AUC-Rechner - Schwellenwertunabhängige Bewertung
• Sensitivität & Spezifität - Diagnostische Testmetriken
• Phi-Koeffizient - Assoziationsmaß für 2×2-Tabellen
• Chi-Quadrat-Test - Test auf Assoziation

Zusammenfassung

Die Konfusionsmatrix schlüsselt die Klassifikatorleistung in richtig/falsch positive/negative auf. Genauigkeit allein ist unzureichend, besonders bei unausgewogenen Klassen. Verwenden Sie Präzision (Qualität der positiven Vorhersagen), Recall (Vollständigkeit der positiven Erkennung) und F1 (Balance aus beidem). Berücksichtigen Sie die Kosten verschiedener Fehler bei der Wahl der Schwellenwerte. MCC und ausgewogene Genauigkeit sind robust gegenüber Klassenungleichgewicht. Berichten Sie immer die vollständige Matrix zusammen mit zusammenfassenden Metriken.