Cohens-Kappa-Rechner

Messen Sie die Interrater-Übereinstimmung.

B2 Kat {1}B2 Kat {2}
B1 Kat {1}
B1 Kat {2}

Anzahl der Übereinstimmungen zwischen zwei Beurteilern für jedes Kategoriepaar eingeben

Beispiele:
Cohen's Kappa (κ)
0.4
Interpretation
Ausreichend
95%-Konfidenzintervall
[0.146, 0.654]
Beobachtete Übereinstimmung (Pₒ)
0.7
Erwartete Übereinstimmung (Pₑ)
0.5
Gesamtbeobachtungen
50
Cohen's Kappa
κ=Po−Pe1−Pe\kappa = \frac{P_o - P_e}{1 - P_e}

Interpretationsleitfaden (Landis & Koch)

  • < 0,00: Schlechte Übereinstimmung
  • 0,00 – 0,20: Leichte Übereinstimmung
  • 0,21 – 0,40: Ausreichende Übereinstimmung
  • 0,41 – 0,60: Moderate Übereinstimmung
  • 0,61 – 0,80: Erhebliche Übereinstimmung
  • 0,81 – 1,00: Fast perfekte Übereinstimmung

Was ist Cohens Kappa?

Cohens Kappa (κ\kappa) ist ein statistisches Maß für die Übereinstimmung zwischen Beurteilern bei kategorialen Daten. Es quantifiziert den Grad der Übereinstimmung zwischen zwei Beurteilern (oder Gutachtern), die Objekte in sich gegenseitig ausschließende Kategorien einordnen, wobei die Möglichkeit einer zufälligen Übereinstimmung berücksichtigt wird.

Im Gegensatz zur einfachen prozentualen Übereinstimmung, die bei unausgewogenen Kategorien irreführend hoch sein kann, liefert Kappa ein robusteres Maß, indem es die zufällige Übereinstimmung berücksichtigt. Ein Kappa von 1 zeigt perfekte Übereinstimmung an, 0 zeigt eine Übereinstimmung an, die nicht besser als der Zufall ist, und negative Werte zeigen eine Übereinstimmung an, die schlechter als der Zufall ist.

Die Formel

Cohens Kappa wird wie folgt berechnet:

κ=Po−Pe1−Pe\kappa = \frac{P_o - P_e}{1 - P_e}

Wobei:

  • PoP_o der beobachtete Anteil der Übereinstimmung ist
  • PeP_e der erwartete Anteil der zufälligen Übereinstimmung ist

Die erwartete Übereinstimmung wird aus den Randsummen der Konfusionsmatrix berechnet, wobei angenommen wird, dass die Beurteiler unabhängig voneinander urteilen.

Interpretation der Kappa-Werte

Die am häufigsten zitierten Interpretationsrichtlinien stammen von Landis und Koch (1977):

Kappa-WertInterpretation
< 0,00Schlecht (schlechter als Zufall)
0,00 – 0,20Geringfügig
0,21 – 0,40Ausreichend
0,41 – 0,60Mäßig
0,61 – 0,80Erheblich
0,81 – 1,00Fast perfekt

Diese Schwellenwerte sind jedoch etwas willkürlich. Der Kontext ist entscheidend – ein Kappa von 0,60 könnte für eine subjektive Beurteilungsaufgabe ausgezeichnet sein, aber für eine medizinische Diagnose unzureichend.

Praktische Anwendungen

Medizinische Diagnose

Ärzte verwenden Kappa zur Beurteilung der diagnostischen Zuverlässigkeit. Wenn zwei Radiologen unabhängig voneinander denselben Satz von Röntgenbildern beurteilen, quantifiziert Kappa ihre Übereinstimmung. Hohe Kappa-Werte sind besonders wichtig bei Erkrankungen, bei denen Fehldiagnosen schwerwiegende Folgen haben.

Inhaltsanalyse

Forscher, die qualitative Daten kodieren (wie Stimmungen in Social-Media-Beiträgen oder Themen in Interviewtranskripten), verwenden Kappa, um die Kodierzuverlässigkeit nachzuweisen. Ein Mindest-Kappa von 0,70 wird oft gefordert, bevor mit der Analyse fortgefahren wird.

Qualitätskontrolle

Fertigungsinspektoren, die Produkte als bestanden/nicht bestanden klassifizieren, können Kappa verwenden, um zu überprüfen, ob verschiedene Inspektoren einheitliche Standards anwenden.

Psychologie und Bildung

Die Beurteilung von Verhaltensbeobachtungen, die Kodierung psychologischer Symptome und die Bewertung von Aufsatzantworten profitieren alle von der Kappa-Analyse.

Vorteile gegenüber einfacher Übereinstimmung

Betrachten Sie zwei Beurteiler, die 100 Objekte in zwei Kategorien (A und B) einordnen. Wenn 90 Objekte tatsächlich zur Kategorie A gehören, würden zwei zufällig ratende Beurteiler etwa 82 % der Zeit übereinstimmen, einfach weil beide meistens A raten. Die einfache prozentuale Übereinstimmung würde hohe Zuverlässigkeit suggerieren, obwohl keine besteht.

Kappa korrigiert dies, indem es:

  1. Die durch Zufall erwartete Übereinstimmung aus den Randverteilungen berechnet
  2. Nur die Übereinstimmung jenseits dessen misst, was der Zufall vorhersagen würde

Einschränkungen

Prävalenzproblem

Wenn eine Kategorie selten ist (hohe Prävalenz-Ungleichgewicht), kann selbst erhebliche Übereinstimmung ein niedriges Kappa ergeben. Dieses „Prävalenzproblem" hat einige Forscher dazu veranlasst, alternative Maße zu bevorzugen.

Nur zwei Beurteiler

Das Standard-Cohens-Kappa behandelt genau zwei Beurteiler. Für mehrere Beurteiler sollten Sie Fleiss' Kappa oder den ICC-Rechner in Betracht ziehen.

Nur nominale Kategorien

Kappa behandelt alle Meinungsverschiedenheiten gleich. Wenn Ihre Kategorien eine natürliche Ordnung haben (wie Schweregrade), können gewichtetes Kappa oder ordinale Übereinstimmungsmaße angemessener sein.

Verwandte Maße

  • Gewichtetes Kappa: Weist verschiedenen Arten von Meinungsverschiedenheiten unterschiedliche Gewichte zu
  • Fleiss' Kappa: Erweitert auf mehrere Beurteiler
  • Gwets AC1: Weniger von Prävalenzproblemen betroffen
  • Krippendorffs Alpha: Behandelt fehlende Daten und mehrere Beurteiler

Verwandte Berechnungen

Zusammenfassung

Cohens Kappa ist das Standardmaß zur Beurteilung der Übereinstimmung zwischen zwei Beurteilern bei kategorialen Klassifikationen. Durch die Korrektur der zufälligen Übereinstimmung liefert es einen aussagekräftigeren Reliabilitätskoeffizienten als die einfache prozentuale Übereinstimmung. Obwohl Interpretationsrichtlinien existieren, hängt das akzeptable Kappa-Niveau von der spezifischen Anwendung und den Konsequenzen einer Meinungsverschiedenheit ab. Berichten Sie für vollständige Transparenz immer sowohl Kappa als auch den beobachteten Übereinstimmungsprozentsatz.

Verwandte Werkzeuge