Intraklassenkorrelation-Rechner

Verwenden Sie den Intraklassen-Korrelationskoeffizienten, wenn Sie beurteilen müssen, wie konsistent Bewerter oder Messungen sind. Wenn mehrere Juroren dieselben Aufsätze bewerten oder ein medizinischer Test bei denselben Patienten wiederholt wird, zeigt der ICC, ob die Bewertungen übereinstimmen – nicht nur korrelieren, sondern tatsächlich ähnliche Werte liefern. Er ist das Standardmaß für die Interrater-Reliabilität in der klinischen Forschung, Psychologie und Qualitätsbewertung.

Was ist die Intraklassen-Korrelation?

Der Intraklassen-Korrelationskoeffizient (ICC) misst die Reliabilität und Übereinstimmung für kontinuierliche Messungen. Er wird verwendet, wenn mehrere Bewerter oder Messanlässe beteiligt sind.

Beantwortete Frage: „Wie konsistent sind Messungen zwischen Bewertern oder über verschiedene Anlässe hinweg?"

Wertebereich: 0 bis 1 (theoretisch auch negativ möglich)

• ICC = 0: Keine Reliabilität
• ICC = 1: Perfekte Reliabilität

Wann wird der ICC verwendet?

Interrater-Reliabilität

Mehrere Bewerter bewerten dieselben Probanden:

• Juroren bewerten Leistungen
• Kliniker bewerten Symptomschwere
• Kodierer kategorisieren Antworten

Test-Retest-Reliabilität

Dieselbe Messung zu mehreren Zeitpunkten:

• Wiederholte Blutdruckmessungen
• Umfrageantworten im Zeitverlauf
• Leistungsbewertungen

Intrarater-Reliabilität

Derselbe Bewerter zu mehreren Zeitpunkten:

• Konsistenz eines einzelnen Bewerters

ICC-Formen und -Modelle

Es gibt mehrere ICC-Formulierungen – die richtige Wahl ist entscheidend.

Drei Entscheidungen

1. Modell (Zufällig vs. Fest)

• Einfaktoriell zufällig: Jeder Proband wird von verschiedenen Bewertern bewertet (selten)
• Zweifaktoriell zufällig: Bewerter sind eine Zufallsstichprobe aus einer größeren Population
• Zweifaktoriell gemischt: Bewerter sind die einzigen interessierenden Bewerter (fest)

2. Typ (Einzeln vs. Durchschnitt)

• Einzelmaße: Reliabilität eines einzelnen Bewerters
• Durchschnittsmaße: Reliabilität des Mittelwerts von k Bewertern

3. Definition (Konsistenz vs. Übereinstimmung)

• Konsistenz: Relative Rangordnung (ignoriert systematische Unterschiede)
• Absolute Übereinstimmung: Exakte Werte (berücksichtigt systematische Unterschiede)

ICC-Notation

Die Standardnotation ist ICC(Modell, Typ):

Die Formeln

Zweifaktoriell zufällig, Einzelmaß, Absolute Übereinstimmung: ICC(2,1)

$ICC(2,1) = \frac{MS_R - MS_E}{MS_R + (k-1)MS_E + \frac{k}{n}(MS_C - MS_E)}$

Wobei:

• $MS_R$ = Mittlere Quadratsumme für Zeilen (Probanden)
• $MS_C$ = Mittlere Quadratsumme für Spalten (Bewerter)
• $MS_E$ = Mittlere Quadratsumme des Fehlers
• $k$ = Anzahl der Bewerter
• $n$ = Anzahl der Probanden

Zweifaktoriell gemischt, Einzelmaß, Konsistenz: ICC(3,1)

$ICC(3,1) = \frac{MS_R - MS_E}{MS_R + (k-1)MS_E}$

Beispielrechnung

3 Bewerter bewerten 10 Probanden:

ANOVA-Zerlegung:

• MS_R (Probanden) = 245,6
• MS_C (Bewerter) = 12,4
• MS_E (Fehler) = 8,2

ICC(2,1):

$ICC(2,1) = \frac{245,6 - 8,2}{245,6 + 2(8,2) + \frac{3}{10}(12,4 - 8,2)} = \frac{237,4}{263,26} = 0,90$

Interpretation: Exzellente Reliabilität (ICC = 0,90).

Interpretationsrichtlinien

Kontextspezifische Standards

• Klinische Entscheidungen: ICC > 0,90 bevorzugt
• Forschung: ICC > 0,70 oft akzeptabel
• Screening: ICC > 0,80 empfohlen

Konfidenzintervalle

Verwenden Sie die F-Verteilung zur Konstruktion von KIs:

$F_L = \frac{MS_R}{MS_E \times F_{1-\alpha/2}}$

Berichten Sie 95%-KIs, um die Präzision der ICC-Schätzung zu zeigen.

Beispiel: ICC = 0,85 [95% KI: 0,72; 0,93]

Auswahl des richtigen ICC

Flussdiagramm

1. Sind die Bewerter fest oder zufällig?

   • Fest (spezifische interessierende Bewerter) → Zweifaktoriell gemischt
   • Zufällig (Stichprobe aus Population) → Zweifaktoriell zufällig
   • Verschiedene Bewerter für jeden Probanden → Einfaktoriell

2. Einzelner Bewerter oder Mittelwert der Bewerter?

   • Verwendung der Bewertung eines Bewerters → Einzeln
   • Mittelung mehrerer Bewerter → Durchschnitt

3. Ist der systematische Unterschied wichtig?

   • Ja (exakte Übereinstimmung erforderlich) → Absolute Übereinstimmung
   • Nein (relative Rangordnung wichtig) → Konsistenz

Häufige Szenarien

ICC vs. Korrelation

Pearson-Korrelation

• Misst linearen Zusammenhang
• Ignoriert systematische Verzerrung
• Immer zwischen -1 und +1

ICC

• Misst Übereinstimmung/Reliabilität
• Kann systematische Verzerrung berücksichtigen (absolute Übereinstimmung)
• Hängt von der Populationsvariabilität ab

Beispiel: Zwei Bewerter mit perfekter Korrelation (r = 1,0), aber einer bewertet immer 10 Punkte höher:

• Pearson r = 1,0
• ICC (Konsistenz) = 1,0
• ICC (absolute Übereinstimmung) < 1,0

Standardmessfehler

Aus dem ICC berechnen Sie den SEM:

$SEM = SD \times \sqrt{1 - ICC}$

Dies schätzt den Messfehler in Originaleinheiten.

Kleinste erkennbare Veränderung

$MDC = 1,96 \times \sqrt{2} \times SEM = 2,77 \times SEM$

Eine Veränderung muss den MDC überschreiten, um als real (nicht als Messfehler) betrachtet zu werden.

Anwendungen

Medizinische Bildgebung

Übereinstimmung zwischen Radiologen beim Lesen von Scans.

Physiotherapie

Reliabilität von Bewegungsumfangsmessungen.

Psychologie

Übereinstimmung zwischen Klinikern bei Diagnosebewertungen.

Bildung

Konsistenz der Aufsatzbewertung zwischen Lehrern.

Sportwissenschaft

Reliabilität von Leistungstests.

Ergebnisse berichten

Standardformat:

„Die Interrater-Reliabilität wurde mit einem zweifaktoriell gemischten Effektmodell mit absoluter Übereinstimmung bewertet. Der ICC betrug 0,87 (95% KI: 0,79-0,93), was auf eine gute Reliabilität hinweist."

Vollständiger Bericht:

„Drei geschulte Bewerter bewerteten unabhängig 50 Schreibproben. Die Interrater-Reliabilität wurde mit ICC(3,1) für absolute Übereinstimmung evaluiert. Der Einzelmaß-ICC betrug 0,85 (95% KI: 0,76-0,91), was auf eine gute Reliabilität hinweist. Der Durchschnittsmaß-ICC betrug 0,94 (95% KI: 0,90-0,97)."

Häufige Fehler

Verwendung der falschen ICC-Form

Auswahl von Konsistenz, wenn absolute Übereinstimmung wichtig ist (oder umgekehrt).

Kein KI berichten

Der ICC wird aus einer Stichprobe geschätzt – immer ein Konfidenzintervall angeben.

Verwechslung mit Kappa

Der ICC ist für kontinuierliche Daten; Cohens Kappa ist für kategoriale Daten.

Ignorieren der Varianzstruktur

Der ICC hängt von der Variabilität zwischen Probanden ab. Ein niedriger ICC kann homogene Probanden widerspiegeln, nicht schlechte Bewerter.

Faktoren, die den ICC beeinflussen

Variabilität zwischen Probanden

Mehr Variabilität → höherer ICC (wenn Bewerter konsistent sind)

Variabilität innerhalb von Probanden

Mehr Messfehler → niedrigerer ICC

Anzahl der Bewerter/Messanlässe

Mehr Bewerter → höherer ICC (für Durchschnittsmaße)

Bereichseinschränkung

Enger Wertebereich → niedrigerer ICC

Negative ICC-Werte

Theoretisch möglich, wenn:

• Varianz innerhalb der Probanden > Varianz zwischen Probanden
• Deutet oft auf ein Problem mit Daten oder Design hin
• Wird normalerweise als 0 interpretiert

Historischer Kontext

Das ICC-Konzept wurde in den 1920er Jahren von Ronald Fisher zur Analyse erblicher Merkmale entwickelt. Shrout und Fleiss (1979) klärten die verschiedenen Formen und ihre angemessene Verwendung und etablierten die heute noch verwendete Notation.

Verwandte Berechnungen

• Cronbachs Alpha — Interne Konsistenz
• Pearson-Korrelation — Linearer Zusammenhang
• Standardfehler-Rechner — Messpräzision
• Bland-Altman-Analyse — Methodenvergleich

Zusammenfassung

Der Intraklassen-Korrelationskoeffizient misst die Reliabilität und Übereinstimmung für kontinuierliche Messungen zwischen Bewertern oder über Messanlässe. Wählen Sie die geeignete ICC-Form basierend auf Ihrem Design: einfaktorielles vs. zweifaktorielles Modell, Einzelmaße vs. Durchschnittsmaße und Konsistenz vs. absolute Übereinstimmung. ICC > 0,75 zeigt gute Reliabilität an; > 0,90 ist exzellent. Berichten Sie immer Konfidenzintervalle und geben Sie an, welche ICC-Form verwendet wurde. Berechnen Sie SEM und MDC, um die Reliabilität in Messeinheiten zu interpretieren.