Calculateur de matrice de confusion

Utilisez une matrice de confusion lors de l'évaluation d'un classifieur binaire — qu'il s'agisse d'un modèle d'apprentissage automatique, d'un test diagnostique, ou de tout système qui fait des prédictions oui/non. La matrice révèle non seulement l'exactitude globale mais les types spécifiques d'erreurs commises.

Qu'est-ce qu'une matrice de confusion ?

Une matrice de confusion croise les prédictions avec les résultats réels :

Les quatre résultats

Métriques clés

Exactitude

$Exactitude = \frac{VP + VN}{VP + VN + FP + FN}$

Proportion globale correcte. Peut être trompeuse avec des classes déséquilibrées.

Précision (valeur prédictive positive)

$Précision = \frac{VP}{VP + FP}$

De toutes les prédictions positives, combien étaient correctes ? « Quand je dis oui, ai-je souvent raison ? »

Rappel (sensibilité, taux de vrais positifs)

$Rappel = \frac{VP}{VP + FN}$

De tous les vrais positifs, combien ai-je trouvés ? « De tous les oui, combien ai-je attrapés ? »

Spécificité (taux de vrais négatifs)

$Spécificité = \frac{VN}{VN + FP}$

De tous les vrais négatifs, combien ai-je correctement identifiés ?

Score F1

$F_1 = 2 \times \frac{Précision \times Rappel}{Précision + Rappel}$

Moyenne harmonique de la précision et du rappel. Équilibre les deux préoccupations.

Valeur prédictive négative (VPN)

$VPN = \frac{VN}{VN + FN}$

De toutes les prédictions négatives, combien étaient correctes ?

Exemple de calcul

Résultats d'un filtre anti-spam sur 1000 emails :

• VP = 80, FP = 30, FN = 20, VN = 870
• Total = 1000

Calculs :

• Exactitude = (80 + 870) / 1000 = 95%
• Précision = 80 / 110 = 72,7%
• Rappel = 80 / 100 = 80%
• Spécificité = 870 / 900 = 96,7%
• F1 = 2 × (0,727 × 0,80) / (0,727 + 0,80) = 76,2%

Le compromis précision-rappel

Vous ne pouvez pas maximiser les deux simultanément. Baisser le seuil de classification :

• ↑ Rappel (attraper plus de positifs)
• ↓ Précision (plus de fausses alarmes)

Quand prioriser le rappel :

• Dépistage de maladies (ne pas manquer de cas)
• Détection de fraude (enquêter plus)
• Systèmes critiques pour la sécurité

Quand prioriser la précision :

• Filtrage de spam (minimiser la gêne)
• Recommandations (qualité plutôt que quantité)
• Interventions coûteuses

Métriques supplémentaires

Taux de faux positifs (retombée)

$TFP = \frac{FP}{FP + VN} = 1 - Spécificité$

Taux de faux négatifs (taux de manqués)

$TFN = \frac{FN}{VP + FN} = 1 - Rappel$

Taux de fausse découverte

$TFD = \frac{FP}{VP + FP} = 1 - Précision$

Coefficient de corrélation de Matthews

$CCM = \frac{VP \times VN - FP \times FN}{\sqrt{(VP+FP)(VP+FN)(VN+FP)(VN+FN)}}$

Varie de -1 à +1. Mesure équilibrée même avec des classes déséquilibrées.

Exactitude équilibrée

$Exactitude\ équilibrée = \frac{Sensibilité + Spécificité}{2}$

Moyenne de la performance sur chaque classe.

Le problème du déséquilibre de classes

Avec des événements rares (ex : taux positif de 1%), l'exactitude est trompeuse :

Exemple : 10 000 cas, 100 positifs, 9 900 négatifs

• Le classifieur prédit « négatif » pour tout
• Exactitude = 99% !
• Mais rappel = 0% (manqué tous les positifs)

Solutions :

• Utiliser précision, rappel, F1 au lieu de l'exactitude
• Utiliser l'exactitude équilibrée ou le CCM
• Considérer des métriques pondérées par le coût
• Ajuster le seuil de classification

ROC et AUC

La courbe ROC trace le rappel vs TFP à divers seuils :

• L'aire sous la courbe (AUC) résume la performance globale
• AUC = 0,5 = devinette aléatoire
• AUC = 1,0 = classification parfaite

Courbe précision-rappel

Pour les données déséquilibrées, les courbes précision-rappel sont plus informatives que ROC :

• Tracer précision vs rappel à divers seuils
• L'aire sous la courbe PR (PR-AUC) résume la performance
• Plus sensible aux changements de performance de la classe minoritaire

Extension multi-classes

Pour k classes, la matrice de confusion est k × k :

Calculer les métriques par classe, puis moyenner :

• Macro moyenne : Moyenne entre classes (poids égal)
• Micro moyenne : Agréger puis calculer (pondérer par taille de classe)
• Moyenne pondérée : Pondérer par fréquence de classe

Applications

Diagnostic médical

• VP : Maladie détectée, patient a la maladie
• FP : Maladie détectée, patient sain (traitement inutile)
• FN : Maladie manquée (dangereux !)
• VN : Sain correctement identifié

Détection de fraude

• VP : Fraude détectée
• FP : Fausse alarme (client gêné)
• FN : Fraude manquée (perte financière)
• VN : Transaction légitime approuvée

Moteurs de recherche

• VP : Résultat pertinent affiché
• FP : Résultat non pertinent affiché
• FN : Résultat pertinent non affiché
• VN : Résultat non pertinent correctement exclu

Classification sensible au coût

Quand les erreurs ont des coûts différents :

$Coût\ total = C_{FP} \times FP + C_{FN} \times FN$

Ajuster le seuil pour minimiser le coût total, pas maximiser l'exactitude.

Exemple : Si manquer un cancer coûte 100× plus qu'un faux positif, pondérer lourdement les FN.

Sélection du seuil

La plupart des classifieurs produisent des probabilités. Choisir le seuil basé sur :

1. Exigences métier : Niveau requis de précision ou rappel
2. Analyse de coût : Minimiser le coût attendu
3. Optimisation F1 : Maximiser le score F1
4. J de Youden : Maximiser (Sensibilité + Spécificité - 1)

Intervalles de confiance

Pour les proportions comme précision et rappel, utiliser les intervalles de confiance binomiaux :

$\hat{p} \pm z \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}$

Ou utiliser le bootstrap pour des métriques plus complexes comme F1.

Directives de rapport

Inclure :

• Matrice de confusion complète
• Précision, rappel, F1 au seuil choisi
• ROC-AUC ou PR-AUC pour évaluation indépendante du seuil
• Distribution des classes dans l'ensemble de test
• Intervalles de confiance pour les métriques clés

Exemple : « Le modèle a atteint 95% d'exactitude sur l'ensemble de test (n=1000). Cependant, étant donné le déséquilibre de classe 10:1, nous nous concentrons sur la précision (72,7%) et le rappel (80,0%), donnant F1 = 76,2%. Le ROC-AUC était de 0,91. »

Calculs associés

• Calculateur ROC-AUC — Évaluation indépendante du seuil
• Sensibilité et spécificité — Métriques de test diagnostique
• Coefficient phi — Mesure d'association pour tables 2×2
• Test du chi-carré — Test d'association

Résumé

La matrice de confusion décompose la performance du classifieur en vrais/faux positifs/négatifs. L'exactitude seule est insuffisante, surtout avec des classes déséquilibrées. Utilisez la précision (qualité des prédictions positives), le rappel (complétude de la détection positive), et F1 (équilibre des deux). Considérez les coûts des différentes erreurs lors du choix des seuils. Le CCM et l'exactitude équilibrée sont robustes au déséquilibre de classes. Rapportez toujours la matrice complète aux côtés des métriques résumées.