Einfache-Lineare-Regression-Rechner

Was ist einfache lineare Regression?

Die einfache lineare Regression modelliert die Beziehung zwischen zwei Variablen, indem sie eine Gerade an die Daten anpasst. Sie ermoeglicht es, Y (die Zielvariable) aus X (der Praediktorvariable) vorherzusagen.

Beantwortete Frage: "Welche Gerade passt am besten, und wie gut sagt X den Wert von Y vorher?"

Beispiele:

• "Wie veraendern sich die Verkaeufe mit den Werbeausgaben?"
• "Pruefungsnote aus Lernstunden vorhersagen."
• "Wie ist der Zusammenhang zwischen Temperatur und Eisverkauf?"

Die Regressionsgleichung

$Y = a + bX$

Oder in alternativer Notation:

$\hat{Y} = \beta_0 + \beta_1 X$

Wobei:

• $a$ (oder $\beta_0$) = Y-Achsenabschnitt (Wert von Y, wenn X = 0)
• $b$ (oder $\beta_1$) = Steigung (Aenderung in Y bei Erhoehung von X um eine Einheit)
• $\hat{Y}$ = vorhergesagter Y-Wert

Berechnung der Koeffizienten

Steigung:

$b = \frac{\sum_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^{n}(x_i - \bar{x})^2}$

Oder: $b = S_{xy} / S_{xx} = r \times (s_y / s_x)$

Y-Achsenabschnitt:

$a = \bar{y} - b \times \bar{x}$

Die Gerade verlaeuft immer durch den Punkt $(\bar{x}, \bar{y})$.

Beispielrechnung

Daten: Werbeausgaben (X, in 1.000 Euro) und Verkaeufe (Y, Stueck)

Zusammenfassende Statistiken:

• x-Mittelwert = 6, y-Mittelwert = 288
• Sxx = 40, Sxy = 1100

Steigung: b = 1100 / 40 = 27,5

Y-Achsenabschnitt: a = 288 - 27,5 x 6 = 123

Gleichung: Y-Dach = 123 + 27,5X

Interpretation: Jede Erhoehung der Werbeausgaben um 1.000 Euro ist mit 27,5 zusaetzlichen verkauften Einheiten verbunden.

Interpretation der Steigung

b = 27,5 bedeutet:

• Bei jeder Erhoehung von X um eine Einheit steigt Y im Durchschnitt um 27,5
• Die Beziehung ist positiv (Y steigt, wenn X steigt)
• Dies ist ein Durchschnittseffekt - einzelne Beobachtungen variieren

Einheiten sind wichtig: Wenn X in Tausend Euro und Y in verkauften Stueck angegeben ist, dann gilt: "1.000 Euro mehr Werbung ergibt 27,5 mehr verkaufte Stueck"

Interpretation des Y-Achsenabschnitts

a = 123 bedeutet:

• Wenn X = 0, ist der vorhergesagte Y-Wert 123
• Keine Werbung sagt 123 verkaufte Einheiten vorher

Vorsicht: Interpretieren Sie nur dann woertlich, wenn X = 0 sinnvoll und innerhalb Ihres Datenbereichs liegt.

Wenn Ihre Daten von X = 2 bis 10 reichen, ist der Y-Achsenabschnitt eine Extrapolation und moeglicherweise nicht aussagekraeftig.

Residuen und Anpassung

Residuum = Beobachtet - Vorhergesagt

$e_i = y_i - \hat{y}_i$

Die Residuen sollten klein und zufaellig gestreut sein.

R-Quadrat (Bestimmtheitsmass)

$R^2 = \text{Anteil der Varianz in Y, der durch X erklaert wird}$

$R^2 = 1 - \frac{SS_{Residuen}}{SS_{Gesamt}}$

Oder: $R^2 = r^2$ (quadrierte Korrelation)

Fuer unser Beispiel: r = 0,995, also R-Quadrat = 0,99

Interpretation: 99% der Variation in den Verkaeufen wird durch die Werbeausgaben erklaert.

Standardfehler der Schaetzung

$SE = \sqrt{\frac{\sum_{i=1}^{n}(y_i - \hat{y}_i)^2}{n-2}}$

Misst den typischen Vorhersagefehler.

Fuer unser Beispiel: SE ist ungefaehr 7,9 Einheiten

Vorhersagen liegen typischerweise etwa 8 Einheiten daneben.

Testen der Steigung

Ist die Steigung signifikant von Null verschieden?

H0: Beta-1 = 0 (keine Beziehung) H1: Beta-1 ungleich 0 (Beziehung existiert)

Teststatistik:

$t = \frac{b}{SE_b}$

Wobei $SE_b = SE / \sqrt{S_{xx}}$

Wenn p < Alpha, ist die Steigung statistisch signifikant.

Konfidenzintervall fuer die Steigung

$KI = b \pm t^* \times SE_b$

Gibt den Bereich plausibler Populationssteigungen an.

Vorhersage

Punktvorhersage

Fuer X = 7: Y-Dach = 123 + 27,5(7) = 315,5 Einheiten

Vorhersageintervall

Beruecksichtigt Unsicherheit sowohl in der Linie als auch in der individuellen Variation:

$VI = \hat{Y} \pm t^* \times SE \times \sqrt{1 + \frac{1}{n} + \frac{(X - \bar{x})^2}{S_{xx}}}$

Vorhersageintervalle sind immer breiter als Konfidenzintervalle.

Annahmen (LINU)

Linearitaet

Die Beziehung zwischen X und Y ist linear.

Pruefung: Streudiagramm, Residuenplot

Unabhaengigkeit

Die Beobachtungen sind unabhaengig.

Verletzung: Zeitreihendaten, geclusterte Daten

Normalverteilung

Die Residuen sind normalverteilt.

Pruefung: Histogramm der Residuen, QQ-Plot

Homoskedastizitaet (gleiche Varianz)

Die Streuung der Residuen ist ueber alle X-Werte konstant.

Pruefung: Residuenplot (sollte zufaellige Streuung zeigen)

Residuendiagnostik

Guter Residuenplot:

• Zufaellige Streuung um Null
• Keine Muster oder Trends
• Konstante Streuung

Zu erkennende Probleme:

• Kruemmung zeigt nicht-lineare Beziehung an
• Trichterform zeigt Heteroskedastizitaet an
• Cluster deuten auf potenzielle Untergruppen hin

Haeufige Probleme

Extrapolation

Vorhersage ausserhalb des beobachteten X-Wertebereichs.

Wenn die Daten von X = 2 bis 10 reichen, ist eine Vorhersage bei X = 20 riskant.

Ausreisser

Ungewoehnliche Punkte koennen die Linie stark beeinflussen.

Hoher Leverage: Extreme X-Werte Hoher Einfluss: Punkte, die die Linie wesentlich veraendern

Konfundierung

Drittvariablen koennen die Beziehung erklaeren.

Regression beweist keine Kausalitaet.

Anwendungen

Wirtschaft

Umsatzprognosen, Nachfragemodellierung, Preisanalyse.

Wissenschaft

Kalibrierkurven, Dosis-Wirkungs-Beziehungen.

Volkswirtschaft

Konsumfunktionen, Preiselastizitaet.

Medizin

Wachstumskurven, Modellierung des Behandlungsansprechens.

Ingenieurwesen

Qualitaetskontrolle, Prozessoptimierung.

Regression vs. Korrelation

Zusammenhang: r-Quadrat = R-Quadrat bei einfacher Regression

Ergebnisse berichten

Standardformat:

"Die einfache lineare Regression ergab, dass die Werbeausgaben die Verkaeufe signifikant vorhersagten, b = 27,5, SE = 1,38, t(3) = 19,9, p < 0,001. Das Modell erklaerte 99% der Varianz in den Verkaeufen (R-Quadrat = 0,99)."

Mit Gleichung:

"Die Regressionsgleichung lautete: Verkaeufe = 123 + 27,5 x Werbung, F(1, 3) = 397, p < 0,001, R-Quadrat = 0,99."

Historischer Kontext

Francis Galton entwickelte die Regression in den 1880er Jahren bei der Untersuchung der Vererbung - insbesondere, warum Kinder grosser Eltern zur durchschnittlichen Groesse "zurueckkehrten" (regressierten).

Karl Pearson formalisierte die Mathematik und verknuepfte Regression mit Korrelation.

Der Begriff "Regression" besteht fort, obwohl moderne Anwendungen selten die "Regression zum Mittelwert" im Sinne Galtons beinhalten.

Verwandte Berechnungen

• Multiple Regression - Mehrere Praediktoren
• Pearson-Korrelation - Staerke der Beziehung
• R-Quadrat-Rechner - Modellanpassung
• Residuenanalyse - Annahmenpruefung
• Vorhersageintervall-Rechner - Unsicherheit in Vorhersagen

Zusammenfassung

Die einfache lineare Regression passt die Gerade Y = a + bX an, um zu modellieren, wie X den Wert von Y vorhersagt. Die Steigung (b) repraesentiert die Aenderung in Y pro Einheitsaenderung in X; der Y-Achsenabschnitt (a) ist der vorhergesagte Y-Wert, wenn X = 0. R-Quadrat gibt den Anteil der erklaerten Varianz an. Testen Sie die Steigung auf Signifikanz und pruefen Sie die Annahmen mit Residuenplots. Berichten Sie die Gleichung, R-Quadrat und den Signifikanztest. Bedenken Sie, dass Regression Assoziation zeigt, nicht Kausalitaet, und vermeiden Sie Extrapolation ueber Ihren Datenbereich hinaus.