Calculateur AIC et BIC

Utilisez AIC et BIC lors de la comparaison de modèles statistiques pour trouver le meilleur équilibre entre ajustement et complexité. Les deux pénalisent les modèles pour avoir plus de paramètres, mais BIC pénalise plus fortement, favorisant des modèles plus simples.

Que sont AIC et BIC ?

Critère d'information d'Akaike (AIC)

$AIC = 2k - 2\ln(L)$

Où :

• k = nombre de paramètres
• L = vraisemblance maximale

AIC plus faible = meilleur modèle.

Critère d'information bayésien (BIC)

$BIC = k\ln(n) - 2\ln(L)$

Où :

• k = nombre de paramètres
• n = taille d'échantillon
• L = vraisemblance maximale

BIC plus faible = meilleur modèle.

Pourquoi pénaliser la complexité ?

Sans pénalités, ajouter plus de paramètres améliore toujours l'ajustement. Mais :

• Les modèles trop complexes sur-ajustent
• Les paramètres supplémentaires peuvent capturer du bruit
• Les modèles simples généralisent mieux

AIC et BIC équilibrent l'ajustement (vraisemblance) contre la complexité (paramètres).

AIC vs. BIC

Quand la pénalité BIC > pénalité AIC :

• n > e² ≈ 7,4 (presque toujours)
• La différence croît avec la taille d'échantillon

Exemple de comparaison

Trois modèles de régression sur n = 100 :

AIC sélectionne : Modèle 2 (AIC = 250) BIC sélectionne : Modèle 2 (BIC = 263,0)

Les deux sont d'accord ici, mais avec un k plus grand, BIC pénaliserait davantage.

Interprétation des différences

Pour AIC

Pour BIC

Interprétation similaire, bien que les différences BIC soient souvent plus grandes en raison d'une pénalité plus lourde.

Règles de sélection de modèle

Utilisation d'AIC :

1. Calculer AIC pour tous les modèles candidats
2. Sélectionner le modèle avec l'AIC le plus faible
3. Rapporter l'AIC pour les principaux candidats
4. Considérer les modèles avec ΔAIC < 2 comme compétitifs

Utilisation de BIC :

1. Calculer BIC pour tous les modèles candidats
2. Sélectionner le modèle avec le BIC le plus faible
3. BIC tend à préférer les modèles plus simples

Poids d'Akaike

Convertir AIC en probabilités de modèle :

$w_i = \frac{\exp(-\Delta AIC_i / 2)}{\sum_j \exp(-\Delta AIC_j / 2)}$

Où ΔAIC_i = AIC_i - AIC_min.

Interprétation : w_i est la probabilité que le modèle i soit le meilleur modèle étant donné les données et l'ensemble de candidats.

AIC corrigé (AICc)

Pour les petits échantillons, utilisez la version corrigée :

$AIC_c = AIC + \frac{2k(k+1)}{n-k-1}$

Utilisez AICc quand : n/k < 40

AICc se réduit à AIC lorsque n → ∞.

Quand utiliser lequel

Différence philosophique :

• AIC : Meilleur modèle pour la prédiction (peut ne pas être le « vrai »)
• BIC : Estimateur cohérent de l'ordre du « vrai » modèle

Calcul à partir de la sortie logicielle

À partir de la somme des carrés résiduels (régression)

$AIC = n\ln(RSS/n) + 2k$ $BIC = n\ln(RSS/n) + k\ln(n)$

À partir du R carré

$AIC = n\ln(1-R^2) + 2k + C$

Où C est une constante (n'importe pas pour la comparaison).

Modèles emboîtés vs. non emboîtés

Modèles emboîtés : L'un est un cas particulier de l'autre.

• Peut également utiliser le test du rapport de vraisemblance
• AIC/BIC fonctionnent bien

Modèles non emboîtés : Formes structurelles différentes.

• Ne peut pas utiliser le test du rapport de vraisemblance
• AIC/BIC sont idéaux pour cela

Applications

Régression

Sélection des prédicteurs à inclure :

• Comparer les modèles avec différentes variables
• Équilibrer l'ajustement contre le nombre de prédicteurs

Séries temporelles

Choix de l'ordre ARIMA :

• Comparer les combinaisons (p,d,q)
• Sélectionner en fonction d'AIC ou BIC

Modèles mixtes

Comparaison des structures d'effets aléatoires :

• Différentes structures de covariance
• Quels effets aléatoires inclure

Apprentissage automatique

Réglage de la complexité du modèle :

• Force de régularisation
• Nombre de composantes (ACP)

Erreurs courantes

Comparaison entre différentes données

AIC/BIC comparent uniquement les modèles ajustés aux mêmes données. Différentes tailles d'échantillon ou variables invalident la comparaison.

Ignorer les hypothèses du modèle

Un AIC faible ne valide pas les hypothèses. Vérifiez les résidus indépendamment du modèle gagnant.

S'appuyer trop sur un seul critère

Considérez à la fois AIC et BIC, plus les connaissances du domaine. S'ils ne sont pas d'accord substantiellement, enquêtez pourquoi.

Utiliser pour les tests d'hypothèse

AIC/BIC sont pour la sélection de modèle, pas pour les tests d'hypothèse. Ils ne donnent pas de valeurs p.

AIC/BIC vs. validation croisée

Pour les grands modèles ou les données complexes, la validation croisée peut être plus fiable mais prend plus de temps.

Problèmes de sélection pas à pas

Utilisation d'AIC/BIC dans les procédures pas à pas :

• N'explore pas tous les modèles possibles
• Peut manquer la solution optimale
• Mieux : Régression tous sous-ensembles lorsque faisable

Directives de rapport

Format standard : « Le modèle 2 avait l'AIC le plus faible (AIC = 250) comparé au modèle 1 (AIC = 256) et au modèle 3 (AIC = 251). BIC a également sélectionné le modèle 2 (BIC = 263,0). Le modèle 2 incluait les prédicteurs âge, traitement et score de référence. »

Inclure :

• AIC/BIC pour les principaux modèles candidats
• Quel critère utilisé et pourquoi
• Spécification du modèle final
• Diagnostics du modèle

Contexte historique

Hirotugu Akaike a développé AIC en 1973, reliant la théorie de l'information à la sélection de modèles statistiques. Il a montré que minimiser AIC minimise approximativement la divergence de Kullback-Leibler.

Gideon Schwarz a développé BIC en 1978 d'un point de vue bayésien. BIC approxime le facteur de Bayes entre modèles.

Les deux critères ont révolutionné la sélection de modèle en fournissant des méthodes de comparaison objectives basées sur la vraisemblance.

Calculs associés

• Calculateur de R carré — Ajustement du modèle
• Régression multiple — Construction de modèle
• Régression linéaire — Modèles simples
• Distribution F — Tests de modèles emboîtés

Résumé

AIC et BIC comparent les modèles en équilibrant l'ajustement (vraisemblance) contre la complexité (paramètres). Des valeurs plus faibles indiquent de meilleurs modèles. AIC utilise une pénalité fixe (2k) ; la pénalité de BIC croît avec la taille d'échantillon (k ln n). Utilisez AIC pour la prédiction, BIC lors de la recherche du « vrai » modèle. Pour les petits échantillons, utilisez AICc. Comparez uniquement les modèles ajustés à des données identiques. Rapportez les deux critères pour les comparaisons majeures et considérez les modèles avec ΔAIC < 2 comme compétitifs.