Calculadora del kappa de Cohen
Mide el acuerdo entre evaluadores.
| E2 Cat {1} | E2 Cat {2} | |
|---|---|---|
| E1 Cat {1} | ||
| E1 Cat {2} |
Ingrese el número de acuerdos entre dos evaluadores para cada par de categorías
Guía de interpretación (Landis & Koch)
- < 0,00: Concordancia deficiente
- 0,00 – 0,20: Concordancia leve
- 0,21 – 0,40: Concordancia aceptable
- 0,41 – 0,60: Concordancia moderada
- 0,61 – 0,80: Concordancia sustancial
- 0,81 – 1,00: Concordancia casi perfecta
¿Qué es el kappa de Cohen?
El kappa de Cohen () es una medida estadística de concordancia entre evaluadores para ítems categóricos. Cuantifica el nivel de concordancia entre dos evaluadores (o jueces) que cada uno clasifica ítems en categorías mutuamente excluyentes, mientras considera la posibilidad de que la concordancia ocurra por azar.
A diferencia del simple porcentaje de concordancia, que puede ser engañosamente alto cuando las categorías están desequilibradas, kappa proporciona una medida más robusta al ajustar por la concordancia esperada por azar. Un kappa de 1 indica concordancia perfecta, 0 indica concordancia no mejor que el azar, y valores negativos indican concordancia peor que el azar.
La fórmula
El kappa de Cohen se calcula como:
Donde:
- es la proporción observada de concordancia
- es la proporción esperada de concordancia por azar
La concordancia esperada se calcula a partir de los totales marginales de la matriz de confusión, asumiendo que los evaluadores son independientes.
Interpretando valores de kappa
Las guías de interpretación más citadas vienen de Landis y Koch (1977):
| Valor de kappa | Interpretación |
|---|---|
| < 0,00 | Pobre (menor que el azar) |
| 0,00 – 0,20 | Leve |
| 0,21 – 0,40 | Aceptable |
| 0,41 – 0,60 | Moderado |
| 0,61 – 0,80 | Sustancial |
| 0,81 – 1,00 | Casi perfecto |
Sin embargo, estos umbrales son algo arbitrarios. El contexto importa—un kappa de 0,60 podría ser excelente para una tarea de juicio subjetivo pero inadecuado para diagnóstico médico.
Aplicaciones prácticas
Diagnóstico médico
Los médicos usan kappa para evaluar la confiabilidad diagnóstica. Cuando dos radiólogos revisan independientemente el mismo conjunto de radiografías, kappa cuantifica su concordancia. Los valores altos de kappa son esenciales para condiciones donde el diagnóstico erróneo tiene consecuencias graves.
Análisis de contenido
Los investigadores que codifican datos cualitativos (como el sentimiento en publicaciones de redes sociales o temas en transcripciones de entrevistas) usan kappa para demostrar la confiabilidad de la codificación. A menudo se requiere un kappa mínimo de 0,70 antes de proceder con el análisis.
Control de calidad
Los inspectores de manufactura que clasifican productos como aprobados/rechazados pueden usar kappa para verificar que diferentes inspectores apliquen estándares consistentes.
Psicología y educación
La evaluación de observaciones conductuales, codificación de síntomas psicológicos y calificación de respuestas de ensayos se benefician del análisis de kappa.
Ventajas sobre la concordancia simple
Considera dos evaluadores clasificando 100 ítems en dos categorías (A y B). Si 90 ítems realmente pertenecen a la categoría A, dos evaluadores adivinando aleatoriamente concordarían aproximadamente el 82% de las veces simplemente porque ambos adivinan A la mayoría de las veces. El porcentaje de concordancia simple sugeriría alta confiabilidad cuando no existe ninguna.
Kappa corrige esto al:
- Calcular la concordancia esperada por azar a partir de las distribuciones marginales
- Medir solo la concordancia más allá de lo que el azar predeciría
Limitaciones
Problema de prevalencia
Cuando una categoría es rara (alto desequilibrio de prevalencia), incluso una concordancia sustancial puede producir un kappa bajo. Este "problema de prevalencia" ha llevado a algunos investigadores a preferir medidas alternativas.
Solo dos evaluadores
El kappa estándar de Cohen maneja exactamente dos evaluadores. Para múltiples evaluadores, considera el kappa de Fleiss o la Calculadora ICC.
Solo categorías nominales
Kappa trata todas las discordancias por igual. Si tus categorías tienen un orden natural (como niveles de severidad), el kappa ponderado o medidas de concordancia ordinal pueden ser más apropiados.
Medidas relacionadas
- Kappa ponderado: Asigna diferentes pesos a diferentes tipos de discordancia
- Kappa de Fleiss: Extiende a múltiples evaluadores
- AC1 de Gwet: Menos afectado por problemas de prevalencia
- Alfa de Krippendorff: Maneja datos faltantes y múltiples evaluadores
Cálculos relacionados
- Calculadora ICC — Confiabilidad entre evaluadores para medidas continuas
- Calculadora alfa de Cronbach — Confiabilidad de consistencia interna
- Calculadora de prueba chi-cuadrado — Probar asociación en tablas de contingencia
- Calculadora de coeficiente Phi — Asociación para tablas 2×2
Resumen
El kappa de Cohen es la medida estándar para evaluar la concordancia entre dos evaluadores en clasificaciones categóricas. Al corregir por la concordancia esperada por azar, proporciona un coeficiente de confiabilidad más significativo que el simple porcentaje de concordancia. Aunque existen guías de interpretación, el nivel aceptable de kappa depende de la aplicación específica y las consecuencias de la discordancia. Siempre reporta tanto kappa como el porcentaje de concordancia observado para una transparencia completa.