AIC-BIC-Rechner

Verwenden Sie AIC und BIC beim Vergleich statistischer Modelle, um das beste Gleichgewicht zwischen Anpassung und Komplexität zu finden. Beide bestrafen Modelle mit mehr Parametern, aber BIC bestraft stärker und bevorzugt einfachere Modelle.

Was sind AIC und BIC?

Akaike-Informationskriterium (AIC)

$AIC = 2k - 2\ln(L)$

Wobei:

• k = Anzahl der Parameter
• L = maximale Likelihood

Niedrigerer AIC = besseres Modell.

Bayessches Informationskriterium (BIC)

$BIC = k\ln(n) - 2\ln(L)$

Wobei:

• k = Anzahl der Parameter
• n = Stichprobengröße
• L = maximale Likelihood

Niedrigerer BIC = besseres Modell.

Warum Komplexität bestrafen?

Ohne Bestrafung verbessert das Hinzufügen weiterer Parameter immer die Anpassung. Aber:

• Übermäßig komplexe Modelle überanpassen
• Zusätzliche Parameter können Rauschen erfassen
• Einfache Modelle verallgemeinern besser

AIC und BIC gleichen Anpassung (Likelihood) gegen Komplexität (Parameter) aus.

AIC vs. BIC

Wann BIC-Bestrafung > AIC-Bestrafung:

• n > e² ≈ 7,4 (fast immer)
• Unterschied wächst mit Stichprobengröße

Beispielvergleich

Drei Regressionsmodelle bei n = 100:

AIC wählt: Modell 2 (AIC = 250) BIC wählt: Modell 2 (BIC = 263,0)

Beide stimmen hier überein, aber bei größerem k würde BIC stärker bestrafen.

Interpretation der Unterschiede

Für AIC

Für BIC

Ähnliche Interpretation, obwohl BIC-Unterschiede aufgrund der stärkeren Bestrafung oft größer sind.

Regeln zur Modellauswahl

Mit AIC:

1. AIC für alle Kandidatenmodelle berechnen
2. Modell mit niedrigstem AIC auswählen
3. AIC für Top-Kandidaten berichten
4. Modelle mit ΔAIC < 2 als konkurrenzfähig betrachten

Mit BIC:

1. BIC für alle Kandidatenmodelle berechnen
2. Modell mit niedrigstem BIC auswählen
3. BIC tendiert zu einfacheren Modellen

Akaike-Gewichte

AIC in Modellwahrscheinlichkeiten umwandeln:

$w_i = \frac{\exp(-\Delta AIC_i / 2)}{\sum_j \exp(-\Delta AIC_j / 2)}$

Wobei ΔAIC_i = AIC_i - AIC_min.

Interpretation: w_i ist die Wahrscheinlichkeit, dass Modell i das beste Modell ist, gegeben die Daten und die Kandidatenmenge.

Korrigiertes AIC (AICc)

Für kleine Stichproben die korrigierte Version verwenden:

$AIC_c = AIC + \frac{2k(k+1)}{n-k-1}$

AICc verwenden wenn: n/k < 40

AICc reduziert sich zu AIC wenn n → ∞.

Wann welches verwenden

Philosophischer Unterschied:

• AIC: Bestes Modell für Vorhersage (muss nicht „wahr" sein)
• BIC: Konsistenter Schätzer der „wahren" Modellordnung

Berechnung aus Software-Output

Aus Residuenquadratsumme (Regression)

$AIC = n\ln(RSS/n) + 2k$ $BIC = n\ln(RSS/n) + k\ln(n)$

Aus R-Quadrat

$AIC = n\ln(1-R^2) + 2k + C$

Wobei C eine Konstante ist (für Vergleiche irrelevant).

Geschachtelte vs. nicht-geschachtelte Modelle

Geschachtelte Modelle: Eines ist ein Spezialfall des anderen.

• Kann auch Likelihood-Ratio-Test verwenden
• AIC/BIC funktionieren gut

Nicht-geschachtelte Modelle: Verschiedene strukturelle Formen.

• Kann Likelihood-Ratio-Test nicht verwenden
• AIC/BIC sind dafür ideal

Anwendungen

Regression

Auswahl der einzubeziehenden Prädiktoren:

• Modelle mit verschiedenen Variablen vergleichen
• Anpassung gegen Anzahl der Prädiktoren abwägen

Zeitreihen

Wahl der ARIMA-Ordnung:

• (p,d,q)-Kombinationen vergleichen
• Auswahl basierend auf AIC oder BIC

Gemischte Modelle

Vergleich von Zufallseffekt-Strukturen:

• Verschiedene Kovarianzstrukturen
• Welche Zufallseffekte einbeziehen

Maschinelles Lernen

Abstimmung der Modellkomplexität:

• Regularisierungsstärke
• Anzahl der Komponenten (PCA)

Häufige Fehler

Vergleich über verschiedene Daten

AIC/BIC vergleichen nur Modelle, die an dieselben Daten angepasst wurden. Unterschiedliche Stichprobengrößen oder Variablen machen den Vergleich ungültig.

Ignorieren von Modellannahmen

Niedriger AIC validiert keine Annahmen. Residuen prüfen, unabhängig davon welches Modell gewinnt.

Übermäßiges Vertrauen auf ein Kriterium

Beide, AIC und BIC, plus Fachwissen berücksichtigen. Wenn sie erheblich voneinander abweichen, untersuchen warum.

Verwendung für Hypothesentests

AIC/BIC sind für Modellauswahl, nicht für Hypothesentests. Sie liefern keine p-Werte.

AIC/BIC vs. Kreuzvalidierung

Für große Modelle oder komplexe Daten kann Kreuzvalidierung zuverlässiger sein, dauert aber länger.

Probleme bei schrittweiser Auswahl

Verwendung von AIC/BIC in schrittweisen Verfahren:

• Erkundet nicht alle möglichen Modelle
• Kann optimale Lösung verfehlen
• Besser: All-Subsets-Regression wenn machbar

Berichtsrichtlinien

Standardformat: „Modell 2 hatte den niedrigsten AIC (AIC = 250) im Vergleich zu Modell 1 (AIC = 256) und Modell 3 (AIC = 251). BIC wählte ebenfalls Modell 2 (BIC = 263,0). Modell 2 enthielt die Prädiktoren Alter, Behandlung und Ausgangswert."

Einbeziehen:

• AIC/BIC für Top-Kandidatenmodelle
• Welches Kriterium verwendet wurde und warum
• Endgültige Modellspezifikation
• Modelldiagnostik

Historischer Kontext

Hirotugu Akaike entwickelte AIC 1973 und verband Informationstheorie mit statistischer Modellauswahl. Er zeigte, dass die Minimierung von AIC näherungsweise die Kullback-Leibler-Divergenz minimiert.

Gideon Schwarz entwickelte BIC 1978 aus bayesscher Perspektive. BIC approximiert den Bayes-Faktor zwischen Modellen.

Beide Kriterien revolutionierten die Modellauswahl durch objektive, likelihood-basierte Vergleichsmethoden.

Verwandte Berechnungen

• R-Quadrat-Rechner — Modellanpassung
• Multiple Regression — Modellbildung
• Lineare Regression — Einfache Modelle
• F-Verteilung — Tests für geschachtelte Modelle

Zusammenfassung

AIC und BIC vergleichen Modelle durch Abwägung von Anpassung (Likelihood) gegen Komplexität (Parameter). Niedrigere Werte zeigen bessere Modelle an. AIC verwendet eine feste Bestrafung (2k); die BIC-Bestrafung wächst mit der Stichprobengröße (k ln n). AIC für Vorhersage verwenden, BIC wenn das „wahre" Modell gesucht wird. Für kleine Stichproben AICc verwenden. Nur Modelle vergleichen, die an identische Daten angepasst wurden. Beide Kriterien für wichtige Vergleiche berichten und Modelle mit ΔAIC < 2 als konkurrenzfähig betrachten.