Calculateur de valeurs aberrantes

Que sont les valeurs aberrantes ?

Les valeurs aberrantes sont des observations qui se situent loin de la masse des données. Elles peuvent être :

• Des valeurs extrêmes légitimes (la personne la plus grande du monde)
• Des erreurs de mesure (virgule décimale mal placée)
• Des erreurs de saisie de données (taper 1000 au lieu de 100)
• Des membres d'une population différente (inclure des adultes dans un ensemble de données d'enfants)

Identifier les valeurs aberrantes est essentiel avant l'analyse—elles peuvent affecter dramatiquement les moyennes, les écarts types et les coefficients de régression.

La méthode des limites de Tukey

La méthode de détection de valeurs aberrantes la plus courante utilise l'écart interquartile :

1. Calculer Q1 (25e percentile) et Q3 (75e percentile)
2. Trouver $IQR = Q_3 - Q_1$
3. Fixer les limites :
   • Limite inférieure = $Q_1 - 1,5 \times IQR$
   • Limite supérieure = $Q_3 + 1,5 \times IQR$
4. Les valeurs au-delà des limites sont des valeurs aberrantes potentielles

Valeurs aberrantes modérées : Entre $1,5 \times IQR$ et $3 \times IQR$ des quartiles

Valeurs aberrantes extrêmes : Au-delà de $3 \times IQR$ des quartiles

Exemple

Données : {12, 15, 18, 22, 25, 28, 32, 85}

• Q1 = 16,5, Q3 = 30
• IQR = 30 − 16,5 = 13,5
• Limite inférieure = 16,5 − 1,5(13,5) = -3,75
• Limite supérieure = 30 + 1,5(13,5) = 50,25

La valeur 85 dépasse la limite supérieure → valeur aberrante potentielle.

Méthodes de détection alternatives

Méthode du score Z

Les valeurs avec des scores z au-delà de ±3 (ou ±2,5) sont signalées :

$\text{Valeur aberrante si : } |z| = \frac{|x - \bar{x}|}{s} > 3$

Limitation : La moyenne et l'ET sont eux-mêmes affectés par les valeurs aberrantes, pouvant les masquer.

Score Z modifié

Utilise la médiane et l'écart absolu médian (MAD) :

$\text{Z modifié} = \frac{0,6745 \times (x - \text{médiane})}{MAD}$

Les valeurs au-delà de ±3,5 sont des valeurs aberrantes. Plus robuste que les scores z standard.

Test de Grubbs

Test statistique spécifiquement pour la détection de valeurs aberrantes. Teste si la valeur la plus extrême est significativement différente du reste.

Test Q de Dixon

Pour les petits échantillons, compare l'écart entre une valeur extrême et son voisin à l'étendue totale.

Pourquoi 1,5 × IQR ?

John Tukey a choisi 1,5 de manière quelque peu arbitraire, mais cela a des propriétés utiles :

Pour les distributions normales :

• Environ 0,7% des données se situent en dehors des limites
• Dans un échantillon de 100, attendez moins de 1 point à l'extérieur par hasard

Le multiplicateur 1,5 équilibre :

• Capturer les vraies valeurs aberrantes (sensibilité)
• Ne pas signaler la variation normale (spécificité)

Utiliser 3 × IQR pour les « valeurs aberrantes extrêmes » correspond à des événements beaucoup plus rares—environ 1 sur 100 000 pour des données normales.

Que faire avec les valeurs aberrantes

D'abord enquêter

Avant de supprimer ou d'ajuster, enquêtez :

• La valeur est-elle correctement enregistrée ?
• Représente-t-elle un phénomène réel ?
• L'observation provient-elle de la même population ?

Options après enquête

1. Conserver : Si la valeur est légitime, la conserver et rapporter des statistiques robustes
2. Corriger : Si c'est une erreur d'enregistrement et que la vraie valeur est connue, la corriger
3. Supprimer : Si c'est une erreur et que la vraie valeur est inconnue, la supprimer
4. Winsoriser : Remplacer les valeurs extrêmes par les valeurs limites
5. Transformer : Les transformations log ou racine carrée compriment les valeurs extrêmes
6. Utiliser des méthodes robustes : Médianes, moyennes tronquées, régression robuste

Documenter les décisions

Rapportez toujours :

• Combien de valeurs aberrantes ont été identifiées
• Quelle méthode a été utilisée pour la détection
• Quelle action a été prise et pourquoi

Valeurs aberrantes dans différents contextes

Recherche scientifique

Les valeurs aberrantes peuvent être les observations les plus intéressantes—les découvertes lauréates du prix Nobel commencent souvent par des valeurs aberrantes inexpliquées.

Contrôle qualité

Les valeurs aberrantes en fabrication indiquent des problèmes de processus nécessitant une attention immédiate.

Analyse financière

Les rendements boursiers ont des « queues épaisses »—les valeurs extrêmes sont plus courantes que ne le prédisent les distributions normales. Ce qui ressemble à une valeur aberrante pourrait être un comportement typique du marché.

Données médicales

Les valeurs aberrantes cliniques peuvent indiquer une maladie, des erreurs de données ou des caractéristiques inhabituelles du patient. L'enquête est essentielle avant suppression.

Recherche par sondage

Les réponses extrêmes peuvent indiquer une incompréhension, des réponses protestataires ou des opinions extrêmes genuines.

Le danger de la suppression automatique de valeurs aberrantes

Supprimer aveuglément les valeurs aberrantes peut :

• Créer une distribution artificiellement serrée
• Supprimer des données légitimes
• Biaiser les résultats vers le centre
• Cacher des phénomènes importants

Ne jamais automatiser la suppression de valeurs aberrantes sans jugement humain.

Valeurs aberrantes et forme de distribution

Distributions normales

Pour des données vraiment normales, les valeurs aberrantes sont rares. Beaucoup de valeurs aberrantes apparentes indiquent que les données ne sont pas normales.

Distributions à queues lourdes

Revenus, rendements boursiers et magnitudes de tremblements de terre ont des queues lourdes. Les « valeurs aberrantes » sont attendues et les supprimer déforme l'image.

Distributions mixtes

Si les données combinent deux populations (ex : adultes et enfants), les valeurs normales pour un groupe apparaissent comme valeurs aberrantes pour l'autre.

Valeurs aberrantes multivariées

En plusieurs dimensions, un point peut être ordinaire sur chaque variable individuellement mais aberrant en combinaison.

Exemple : Âge = 25 (normal) et Épargne retraite = 2M$ (normal pour les adultes plus âgés) ensemble est inhabituel.

La distance de Mahalanobis et d'autres méthodes multivariées détectent de tels cas.

Contexte historique

La détection de valeurs aberrantes s'est formalisée aux 19ème et 20ème siècles avec le développement des statistiques.

Le critère de Chauvenet (1863) a fourni des directives précoces pour rejeter les observations discordantes en sciences physiques.

W.J. Dixon a développé les procédures de test Q dans les années 1950 pour les petits échantillons.

L'approche EDA de John Tukey (1977) a introduit le diagramme en boîte et la règle 1,5 × IQR, qui est devenue la méthode dominante en raison de sa simplicité et robustesse.

Diagrammes en boîte et visualisation des valeurs aberrantes

Les diagrammes en boîte modifiés affichent les valeurs aberrantes explicitement :

• Les moustaches s'étendent jusqu'au point le plus éloigné dans 1,5 × IQR
• Les points au-delà des moustaches sont tracés individuellement
• Fournit une détection visuelle des valeurs aberrantes

Le calculateur de résumé à cinq nombres génère les valeurs nécessaires pour les diagrammes en boîte.

Effet des valeurs aberrantes sur les statistiques

Les statistiques robustes (médiane, IQR, moyennes tronquées) offrent une protection.

Calculs associés

Après détection de valeurs aberrantes, explorez :

• Calculateur d'écart interquartile — Base de la méthode des limites
• Calculateur de quartiles — Calculer Q1 et Q3
• Calculateur de score Z — Méthode de détection alternative
• Calculateur de médiane — Tendance centrale robuste
• Calculateur d'écart type — Affecté par les valeurs aberrantes
• Calculateur de résumé à cinq nombres — Contexte pour les valeurs aberrantes

Résumé

Les valeurs aberrantes sont des observations éloignées de la masse des données, indiquant potentiellement des erreurs, des phénomènes inhabituels ou des populations différentes. La méthode des limites de Tukey (1,5 × IQR des quartiles) fournit une approche de détection robuste, tandis que les méthodes de scores z offrent des alternatives. Ce qui compte le plus est l'enquête—comprendre pourquoi une valeur aberrante existe avant de décider comment la gérer. La suppression automatique détruit l'information ; l'analyse réfléchie des valeurs aberrantes révèle souvent les caractéristiques les plus intéressantes des données.