Logistische-Regression-Rechner

Was ist logistische Regression?

Die logistische Regression modelliert die Wahrscheinlichkeit eines binären Ergebnisses (ja/nein, Erfolg/Misserfolg, 1/0) basierend auf einer oder mehreren Prädiktorvariablen. Anstatt einen kontinuierlichen Wert vorherzusagen, wird die Wahrscheinlichkeit der Zugehörigkeit zu einer Kategorie vorhergesagt.

Beantwortete Frage: „Welche Faktoren beeinflussen die Wahrscheinlichkeit, dass dieses Ergebnis eintritt?"

Beispiele:

• „Welche Faktoren sagen vorher, ob ein Kunde abwandert?"
• „Wie beeinflussen Patientenmerkmale die Krankheitswahrscheinlichkeit?"
• „Was sagt vorher, ob ein Kreditantragsteller ausfällt?"

Warum nicht lineare Regression?

Problem mit linearer Regression für binäre Ergebnisse:

Lineare Regression kann Werte unter 0 oder über 1 vorhersagen – unmöglich für Wahrscheinlichkeiten.

Lösung: Die logistische Regression verwendet die logistische Funktion, um Vorhersagen auf (0, 1) zu beschränken.

Die logistische Funktion

$P(Y = 1) = \frac{1}{1 + e^{-z}}$

Wobei $z = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \ldots$

Diese S-förmige Kurve bildet jede reelle Zahl auf eine Wahrscheinlichkeit zwischen 0 und 1 ab.

Die Logit-Transformation

Umgestellt:

$\log\left(\frac{P}{1-P}\right) = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \ldots$

Die linke Seite ist das Log-Odds (Logit) des Ergebnisses.

Die rechte Seite ist linear in den Prädiktoren.

Interpretation der Koeffizienten

Die Koeffizienteninterpretation unterscheidet sich von der linearen Regression:

$\beta_1$ = Änderung des Log-Odds pro Einheitssteigerung in $X_1$

Intuitiver ist die Umrechnung in das Odds Ratio:

$OR = e^{\beta}$

Beispiel: Wenn β₁ = 0,7 für einen Prädiktor:

• OR = e^0,7 = 2,01
• Jede Einheitssteigerung in X₁ verdoppelt die Chancen des Ergebnisses

Beispiel: Kundenabwanderung

Daten: 1.000 Kunden mit Abwanderungsstatus (1 = abgewandert, 0 = behalten)

Prädiktoren: Monatliche Kosten, Vertragslaufzeit, Kundendauer (Monate)

Ausgabe:

Interpretationen:

• Jede Erhöhung der monatlichen Kosten um 1 €: 3 % Erhöhung der Abwanderungschancen
• Zweijahresvertrag vs. monatlich: 84 % Reduzierung der Abwanderungschancen
• Jeder zusätzliche Monat Kundendauer: 4 % Reduzierung der Abwanderungschancen

Odds Ratios (OR)

Konfidenzintervall für OR: Wenn das KI die 1 einschließt, ist der Effekt nicht statistisch signifikant.

Vorhersage

Vorhergesagte Wahrscheinlichkeit

1. Berechne z = β₀ + β₁X₁ + β₂X₂ + ...
2. Wende die logistische Funktion an: P = 1 / (1 + e^(-z))

Beispiel: Für einen Kunden mit:

• Monatliche Kosten = 80 €
• Zweijahresvertrag
• Kundendauer = 24 Monate

z = -1,24 + 0,031(80) - 1,85(1) - 0,045(24) = -1,69 P(Abwanderung) = 1 / (1 + e^1,69) = 0,16 (16 % Wahrscheinlichkeit)

Klassifikation

Wende einen Schwellenwert an (typischerweise 0,5):

• Wenn P ≥ 0,5, sage Y = 1 vorher
• Wenn P < 0,5, sage Y = 0 vorher

Der Schwellenwert kann basierend auf den Kosten von falsch positiven vs. falsch negativen Ergebnissen angepasst werden.

Modellbewertung

Likelihood-Ratio-Test (Gesamtmodell)

Vergleicht das angepasste Modell mit dem Nullmodell (nur Achsenabschnitt).

H₀: Alle β = 0 H₁: Mindestens ein β ≠ 0

Chi-Quadrat-Statistik mit df = Anzahl der Prädiktoren.

Pseudo-R²-Maße

Anders als bei der linearen Regression hat die logistische Regression kein echtes R².

McFaddens R²: $1 - (\log L_{\text{voll}} / \log L_{\text{null}})$

Nagelkerkes R²: Angepasste Version, die 1 erreichen kann

Die Interpretation unterscheidet sich vom linearen R² – Werte über 0,2 werden oft als akzeptabel angesehen.

Hosmer-Lemeshow-Test

Prüft, ob beobachtete und vorhergesagte Wahrscheinlichkeiten übereinstimmen.

Ein nicht signifikanter p-Wert deutet auf eine gute Anpassung hin.

Klassifikationsmetriken

Verwenden Sie den ROC-AUC-Rechner für eine schwellenwertunabhängige Bewertung.

Annahmen

Binäres Ergebnis

Die abhängige Variable ist binär (oder kann als solche behandelt werden).

Unabhängigkeit

Die Beobachtungen sind unabhängig.

Keine perfekte Multikollinearität

Die Prädiktoren sind nicht perfekt korreliert.

Linearität im Logit

Die Beziehung zwischen Prädiktoren und Log-Odds ist linear.

Prüfung: Komponenten- und Residuenplots

Große Stichprobengröße

Allgemeine Richtlinie: mindestens 10-20 Ereignisse pro Prädiktor.

Bei seltenen Ergebnissen werden größere Stichproben benötigt.

Kategoriale Prädiktoren

Verwenden Sie Dummy-Variablen, wie bei der multiplen Regression:

Dreikategorige Variable → zwei Dummy-Variablen

Die Referenzkategorie wird bei allen Dummies mit 0 codiert.

Interaktionseffekte

X₁ × X₂ Interaktion:

log(P/(1-P)) = β₀ + β₁X₁ + β₂X₂ + β₃(X₁ × X₂)

Der Effekt von X₁ hängt vom Wert von X₂ ab.

Maximum-Likelihood-Schätzung

Anders als bei der linearen Regression (kleinste Quadrate) verwendet die logistische Regression die Maximum-Likelihood-Methode:

Finde Koeffizienten, die die Wahrscheinlichkeit maximieren, die tatsächlichen Daten zu beobachten.

Es gibt keine geschlossene Lösung – iterative Algorithmen (Newton-Raphson) finden das Optimum.

Häufige Probleme

Vollständige Trennung

Wenn ein Prädiktor das Ergebnis perfekt vorhersagt:

• Alle Fälle mit X > Schwellenwert haben Y = 1
• Der Koeffizient geht gegen unendlich

Lösungen: Firths penalisierte Likelihood, exakte logistische Regression

Unbalancierte Klassen

Wenn ein Ergebnis selten ist (z. B. 1 % Betrug):

• Das Modell kann für alles die Mehrheitsklasse vorhersagen
• Die Genauigkeit ist irreführend

Lösungen: Klassengewichte, Oversampling der Minderheitsklasse, anderer Schwellenwert

Stichprobengröße

Bei vielen Prädiktoren oder seltenen Ergebnissen wird die Schätzung instabil.

Faustregel: 10+ Ereignisse pro Prädiktorvariable.

Erweiterungen

Multinomiale logistische Regression

Das Ergebnis hat 3+ ungeordnete Kategorien.

Beispiel: Parteizugehörigkeit (SPD, CDU, Grüne)

Ordinale logistische Regression

Das Ergebnis hat geordnete Kategorien.

Beispiel: Krankheitsschwere (mild, moderat, schwer)

Bedingte logistische Regression

Für gematchte Fall-Kontroll-Studien.

Ergebnisse berichten

Standardformat:

„Eine logistische Regression wurde durchgeführt, um Faktoren zu untersuchen, die mit Kundenabwanderung assoziiert sind. Das Modell war statistisch signifikant, χ²(3) = 245,8, p < ,001, Nagelkerke R² = ,31.

Monatliche Kosten (OR = 1,03, 95%-KI [1,02, 1,04], p < ,001), Zweijahresvertrag (OR = 0,16, 95%-KI [0,10, 0,25], p < ,001) und Kundendauer (OR = 0,96, 95%-KI [0,94, 0,97], p < ,001) waren signifikante Prädiktoren."

Historischer Kontext

David Cox formalisierte die logistische Regression 1958, obwohl die logistische Funktion schon früher untersucht worden war.

Die Methode wurde mit der Rechenleistung in den 1960er-70er Jahren praktikabel und ist heute grundlegend in der Epidemiologie, im Marketing, im maschinellen Lernen und in jedem Bereich, der binäre Ergebnisse vorhersagt.

Die Odds-Ratio-Interpretation verbindet die logistische Regression mit dem Fall-Kontroll-Studiendesign, das in der Epidemiologie üblich ist.

Verwandte Berechnungen

• ROC-AUC-Rechner — Modellbewertung
• Odds-Ratio-Rechner — Effektmaß
• Multiple Regression — Kontinuierliche Ergebnisse
• Chi-Quadrat-Test — Kategoriale Zusammenhänge

Zusammenfassung

Die logistische Regression modelliert die Wahrscheinlichkeit eines binären Ergebnisses mithilfe der logistischen Funktion und stellt sicher, dass Vorhersagen zwischen 0 und 1 bleiben. Koeffizienten repräsentieren Änderungen im Log-Odds; exponenzieren Sie, um Odds Ratios für die Interpretation zu erhalten. Bewerten Sie das Gesamtmodell mit dem Likelihood-Ratio-Test, evaluieren Sie die Klassifikation mit Konfusionsmatrix-Metriken und ROC-AUC. Annahmen umfassen Unabhängigkeit, Linearität im Logit und ausreichende Stichprobengröße (10+ Ereignisse pro Prädiktor). Berichten Sie Odds Ratios mit Konfidenzintervallen und Signifikanztests für eine praktische Interpretation.