Calculateur du kappa de Cohen

Qu'est-ce que le kappa de Cohen ?

Le kappa de Cohen ($\kappa$) est une mesure statistique de l'accord inter-juges pour les éléments catégoriels. Il quantifie le niveau d'accord entre deux juges (ou évaluateurs) qui classent chacun des éléments dans des catégories mutuellement exclusives, tout en tenant compte de la possibilité que l'accord se produise par hasard.

Contrairement au simple pourcentage d'accord, qui peut être trompeusement élevé lorsque les catégories sont déséquilibrées, le kappa fournit une mesure plus robuste en ajustant pour l'accord par hasard. Un kappa de 1 indique un accord parfait, 0 indique un accord pas meilleur que le hasard, et les valeurs négatives indiquent un accord pire que le hasard.

La formule

Le kappa de Cohen est calculé comme :

$\kappa = \frac{P_o - P_e}{1 - P_e}$

Où :

• $P_o$ est la proportion observée d'accord
• $P_e$ est la proportion attendue d'accord par hasard

L'accord attendu est calculé à partir des totaux marginaux de la matrice de confusion, en supposant que les évaluateurs sont indépendants.

Interprétation des valeurs de kappa

Les lignes directrices d'interprétation les plus largement citées proviennent de Landis et Koch (1977) :

Cependant, ces seuils sont quelque peu arbitraires. Le contexte compte—un kappa de 0,60 pourrait être excellent pour une tâche de jugement subjectif mais inadéquat pour le diagnostic médical.

Applications pratiques

Diagnostic médical

Les médecins utilisent le kappa pour évaluer la fiabilité diagnostique. Lorsque deux radiologues examinent indépendamment le même ensemble de radiographies, le kappa quantifie leur accord. Des valeurs élevées de kappa sont essentielles pour les conditions où une erreur de diagnostic a des conséquences graves.

Analyse de contenu

Les chercheurs codant des données qualitatives (comme le sentiment dans les publications sur les médias sociaux ou les thèmes dans les transcriptions d'entretiens) utilisent le kappa pour démontrer la fiabilité du codage. Un kappa minimum de 0,70 est souvent requis avant de procéder à l'analyse.

Contrôle qualité

Les inspecteurs de fabrication classant les produits comme réussite/échec peuvent utiliser le kappa pour vérifier que différents inspecteurs appliquent des normes cohérentes.

Psychologie et éducation

Évaluation des observations comportementales, codage des symptômes psychologiques et notation des réponses aux essais bénéficient tous de l'analyse kappa.

Avantages par rapport à l'accord simple

Considérez deux évaluateurs classant 100 éléments en deux catégories (A et B). Si 90 éléments appartiennent vraiment à la catégorie A, deux évaluateurs devinant au hasard seraient d'accord environ 82 % du temps simplement en devinant A le plus souvent. Le simple pourcentage d'accord suggérerait une grande fiabilité alors qu'aucune n'existe.

Le kappa corrige cela en :

1. Calculant l'accord attendu par hasard à partir des distributions marginales
2. Mesurant seulement l'accord au-delà de ce que le hasard prédirait

Limitations

Problème de prévalence

Lorsqu'une catégorie est rare (fort déséquilibre de prévalence), même un accord substantiel peut donner un faible kappa. Ce « problème de prévalence » a conduit certains chercheurs à préférer des mesures alternatives.

Seulement deux évaluateurs

Le kappa standard de Cohen gère exactement deux évaluateurs. Pour plusieurs évaluateurs, considérez le kappa de Fleiss ou le calculateur ICC.

Catégories nominales seulement

Le kappa traite tous les désaccords de manière égale. Si vos catégories ont un ordre naturel (comme les niveaux de gravité), le kappa pondéré ou les mesures d'accord ordinal peuvent être plus appropriés.

Mesures connexes

• Kappa pondéré : Attribue différents poids à différents types de désaccord
• Kappa de Fleiss : S'étend à plusieurs évaluateurs
• AC1 de Gwet : Moins affecté par les problèmes de prévalence
• Alpha de Krippendorff : Gère les données manquantes et les évaluateurs multiples

Calculs connexes

• Calculateur ICC — Fiabilité inter-juges pour mesures continues
• Calculateur alpha de Cronbach — Fiabilité de cohérence interne
• Calculateur de test du khi-deux — Tester l'association dans les tables de contingence
• Calculateur du coefficient phi — Association pour tables 2×2

Résumé

Le kappa de Cohen est la mesure standard pour évaluer l'accord entre deux évaluateurs sur des classifications catégorielles. En corrigeant l'accord par hasard, il fournit un coefficient de fiabilité plus significatif que le simple pourcentage d'accord. Bien que des lignes directrices d'interprétation existent, le niveau acceptable de kappa dépend de l'application spécifique et des conséquences du désaccord. Toujours rapporter à la fois le kappa et le pourcentage d'accord observé pour une transparence complète.