Multiple-Lineare-Regression-Rechner

Was ist multiple lineare Regression?

Die multiple lineare Regression modelliert die Beziehung zwischen einer Ergebnisvariablen (Y) und zwei oder mehr Praediktorvariablen (X₁, X₂, ..., Xₖ). Sie erweitert die einfache Regression, um mehrere Faktoren gleichzeitig zu beruecksichtigen.

Beantwortete Frage: "Wie sagen mehrere Faktoren zusammen das Ergebnis vorher, und was ist der einzigartige Beitrag jedes Faktors?"

Beispiele:

• "Wie beeinflussen Preis, Werbung und Saisonalitaet zusammen den Umsatz?"
• "Hauspreis aus Groesse, Lage, Alter und Schlafzimmern vorhersagen."
• "Welche Faktoren tragen zur Mitarbeiterleistung bei?"

Die Regressionsgleichung

$Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \ldots + \beta_k X_k + \varepsilon$

Oder in Matrixform: $\mathbf{Y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}$

Wobei:

• $\beta_0$ = Achsenabschnitt
• $\beta_1, \beta_2, \ldots, \beta_k$ = partielle Regressionskoeffizienten
• $\varepsilon$ = Fehlerterm

Interpretation der Koeffizienten

Schluesselkonzept: Jeder Koeffizient repraesentiert den Effekt dieses Praediktors unter Konstanthalten aller anderen Praediktoren.

Beispiel: Preis = 50.000 + 150(qm) + 20.000(Schlafzimmer) - 1.000(Alter)

• Jeder zusaetzliche Quadratmeter erhoeht den Preis um 150€, kontrolliert fuer Schlafzimmer und Alter
• Jedes zusaetzliche Schlafzimmer erhoeht den Preis um 20.000€, kontrolliert fuer Groesse und Alter
• Jedes zusaetzliche Jahr Alter reduziert den Preis um 1.000€, kontrolliert fuer Groesse und Schlafzimmer

Beispiel: Hauspreise

Daten: 50 Haeuser mit Preis, Quadratmetern, Schlafzimmern und Alter.

Ausgabe:

R² = 0,87 (87% der Preisvarianz erklaert)

Alle Praediktoren sind statistisch signifikant.

R-Quadrat und korrigiertes R²

$R^2 = 1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}}$

Anteil der Varianz, der durch alle Praediktoren zusammen erklaert wird.

Problem: R² steigt immer, wenn Praediktoren hinzugefuegt werden, selbst nutzlose.

Korrigiertes R²:

$R^2_{\text{adj}} = 1 - \frac{(1 - R^2)(n - 1)}{n - k - 1}$

Bestraft die Anzahl der Praediktoren. Kann sinken, wenn neue Praediktoren nicht helfen.

Verwenden Sie korrigiertes R² fuer Modellvergleiche.

Der F-Test (Gesamtmodell)

Testet, ob das Modell als Ganzes signifikant ist:

$H_0$: Alle $\beta = 0$ (kein Praediktor hilft) $H_1$: Mindestens ein $\beta \neq 0$

$F = \frac{R^2 / k}{(1 - R^2) / (n - k - 1)}$

Mit $df_1 = k$ und $df_2 = n - k - 1$

Signifikantes F: Das Modell sagt Y besser vorher als nur die Verwendung des Mittelwerts.

T-Tests (einzelne Koeffizienten)

Jeder Koeffizient hat seinen eigenen t-Test:

$H_0$: $\beta_i = 0$ (dieser Praediktor hilft nicht, gegeben die anderen) $H_1$: $\beta_i \neq 0$

$t = \frac{b_i}{SE_{b_i}}$

Ein signifikanter p-Wert bedeutet, dass dieser Praediktor einzigartigen Vorhersagewert ueber die anderen Praediktoren hinaus hinzufuegt.

Standardisierte Koeffizienten (Beta-Gewichte)

Problem: Rohe Koeffizienten haben unterschiedliche Einheiten, daher koennen Groessen nicht verglichen werden.

Loesung: Variablen standardisieren (z-Werte) vor der Regression:

$\beta^* = b \times \frac{s_x}{s_y}$

Beta-Gewichte sind vergleichbar: groessere $|\beta^*|$ bedeuten staerkeren Einfluss.

Beispiel:

Quadratmeter hat den staerksten Einfluss auf den Preis.

Multikollinearitaet

Wenn Praediktoren stark miteinander korreliert sind:

Probleme:

• Koeffizientenschaetzungen werden instabil
• Standardfehler steigen
• Einzelne t-Tests koennen nicht signifikant sein, obwohl Praediktoren wichtig sind

Erkennung:

Varianzinflationsfaktor (VIF): VIF > 10: Schwere Multikollinearitaet VIF > 5: Maessige Besorgnis

Loesungen:

• Korrelierte Praediktoren entfernen oder kombinieren
• Hauptkomponenten-Regression verwenden
• Regularisierung verwenden (Ridge, Lasso)

Annahmen

Linearitaet

Die Beziehung zwischen jedem X und Y ist linear (kontrolliert fuer andere).

Pruefung: Partielle Regressionsplots, Residuenplots

Unabhaengigkeit

Beobachtungen sind unabhaengig.

Verletzung: Zeitreihen, geclusterte Daten

Normalitaet

Residuen sind normalverteilt.

Pruefung: Histogramm, QQ-Plot der Residuen

Homoskedastizitaet

Residuenvarianz ist ueber vorhergesagte Werte konstant.

Pruefung: Residuen- vs. Anpassungswerte-Plot

Keine perfekte Multikollinearitaet

Praediktoren sind keine perfekten linearen Kombinationen voneinander.

Kategoriale Praediktoren

Kategoriale Variablen mit Dummy-Kodierung einbeziehen:

Fuer eine Variable mit 3 Kategorien (A, B, C):

• 2 Dummy-Variablen erstellen
• D1 = 1 wenn B, sonst 0
• D2 = 1 wenn C, sonst 0
• A ist die Referenzkategorie

Interpretation: Koeffizienten zeigen den Unterschied zur Referenzkategorie.

Interaktionseffekte

Wenn der Effekt von X₁ von X₂ abhaengt:

Y = β₀ + β₁X₁ + β₂X₂ + β₃(X₁ × X₂)

Beispiel: Effekt der Werbung auf den Umsatz haengt vom Preisniveau ab.

Interpretation: β₃ zeigt, wie stark sich der X₁-Effekt pro Einheit von X₂ aendert.

Modellauswahl

Vorwaertsselektion

Mit keinen Praediktoren beginnen, einen nach dem anderen hinzufuegen (signifikanteste zuerst).

Rueckwaertselimination

Mit allen Praediktoren beginnen, einen nach dem anderen entfernen (am wenigsten signifikante zuerst).

Schrittweise

Kombination von Vorwaerts und Rueckwaerts bei jedem Schritt.

Informationskriterien

AIC, BIC: Niedriger ist besser, balanciert Anpassung gegen Komplexitaet.

Warnung: Schrittweise Methoden koennen Zufallsbefunde ausnutzen. Verwenden Sie Theorie zur Lenkung des Modellbaus.

Vorhersage

Punktvorhersage: Ŷ = b₀ + b₁X₁ + b₂X₂ + ...

Vorhersageintervall: Beruecksichtigt Unsicherheit in Koeffizienten und Residuenvariation.

Breiter als Konfidenzintervall fuer die mittlere Vorhersage.

Anwendungen

Volkswirtschaft

BIP aus mehreren Wirtschaftsindikatoren. Verbraucherausgaben aus Einkommen, Zinssaetzen, Vertrauen.

Marketing

Umsatz aus Preis, Werbung, Distribution, Saisonalitaet.

Medizin

Patientenergebnisse aus mehreren Risikofaktoren. Krankheitsschwere aus Symptomen und Testergebnissen.

Immobilien

Immobilienbewertung aus mehreren Eigenschaften.

Personalwesen

Leistung aus Bildung, Erfahrung, Schulung.

Haeufige Probleme

Ueberanpassung

Zu viele Praediktoren im Verhaeltnis zur Stichprobengroesse.

Faustregel: Mindestens 10-20 Beobachtungen pro Praediktor erforderlich.

Ausgelassene-Variablen-Verzerrung

Das Ausschliessen wichtiger Praediktoren verzerrt die verbleibenden Koeffizienten.

Ausreisser und einflussreiche Punkte

Koennen Koeffizienten dramatisch beeinflussen.

Pruefung: Cook-Distanz, Hebelwerte

Ergebnisse berichten

Standardformat:

"Eine multiple Regressionsanalyse wurde durchgefuehrt, um den Hauspreis aus Quadratmetern, Schlafzimmern und Alter vorherzusagen. Das Modell war statistisch signifikant, F(3, 46) = 102,5, p < 0,001, und erklaerte 87% der Varianz (R²_adj = 0,86).

Alle drei Praediktoren waren signifikant: Quadratmeter (b = 147,5, β = 0,65, p < 0,001), Schlafzimmer (b = 18.750, β = 0,22, p = 0,001) und Alter (b = -985, β = -0,18, p = 0,004)."

Historischer Kontext

Die multiple Regression entwickelte sich im fruehen 20. Jahrhundert, als die Rechenleistung Matrixberechnungen moeglich machte.

Udny Yule und spaetere Statistiker erweiterten die Arbeit von Galton und Pearson zur einfachen Regression auf mehrere Praediktoren.

Die Methode wurde mit elektronischen Computern in den 1960er Jahren praktisch anwendbar und bleibt eine der am haeufigsten verwendeten statistischen Techniken.

Verwandte Berechnungen

• Einfache lineare Regression — Einzelner Praediktor
• R-Quadrat-Rechner — Modellanpassung
• Pearson-Korrelation — Bivariate Beziehungen
• Logistische Regression — Binaere Ergebnisse

Zusammenfassung

Die multiple lineare Regression sagt ein Ergebnis aus mehreren Praediktoren mit Y = β₀ + Σβᵢxᵢ vorher. Jeder Koeffizient repraesentiert den Effekt dieses Praediktors unter Kontrolle aller anderen. Bewerten Sie die Gesamtmodellanpassung mit F-Test und R² (verwenden Sie korrigiertes R²). Testen Sie einzelne Praediktoren mit t-Tests. Standardisierte Koeffizienten (Beta-Gewichte) ermoeglichen den Vergleich der Praediktorwichtigkeit. Pruefen Sie Annahmen mit Residuenplots und achten Sie auf Multikollinearitaet. Schliessen Sie genuegend Beobachtungen im Verhaeltnis zu den Praediktoren ein (mindestens 10-20 pro Praediktor), um Ueberanpassung zu vermeiden.