Regression & Korrelation

Logistische Regression (Binomial GLM)

Modelliert eine binäre Zielgröße (0/1) als Funktion von Prädiktoren mittels logistischer Linkfunktion und IRLS-Schätzung.

Statusvalidated

Version1.0.0

Minitab-EntsprechungStat > Regression > Binary Logistic Regression > Fit Binary Logistic Model

Beschreibung

Die logistische Regression ist ein verallgemeinertes lineares Modell (GLM) mit Binomialverteilung und Logit-Linkfunktion. Die Wahrscheinlichkeit P(Y = 1 | X) wird über die inverse Logit-Funktion modelliert: μ = 1 / (1 + exp(−X'β)). Die Koeffizienten werden iterativ mittels IRLS (Iteratively Reweighted Least Squares) geschätzt, wobei in jedem Schritt gewichtete Normalgleichungen mit den Arbeitsvariablen z und Gewichten w = μ(1−μ) gelöst werden. Die Signifikanz einzelner Koeffizienten wird über Wald-z-Tests geprüft: z_j = β̂_j / SE(β̂_j). Odds Ratios exp(β̂_j) quantifizieren den multiplikativen Effekt eines Prädiktors auf das Chancenverhältnis. Die Modellgüte wird über Devianz, AIC, BIC und Pseudo-R²-Maße (McFadden, Cox-Snell, Nagelkerke) beurteilt.

Formeln

Link-Funktion

logit (μ) = ln (\frac{μ}{1 - μ}) = X^{⊤} β

Logit-Linkfunktion: Transformation der Erfolgswahrscheinlichkeit μ auf die reelle Achse als Linearkombination der Prädiktoren

IRLS-Gewichte

w_{i} = \overset{μ}{^}_{i} (1 - \overset{μ}{^}_{i})

IRLS-Gewichte: Varianz der Binomialverteilung, verwendet zur iterativen gewichteten Schätzung

Arbeitsvariable

z_{i} = \overset{η}{^}_{i} + \frac{y _{i} - μ ^ _{i}}{μ ^ _{i} ( 1 - μ ^ _{i} )}

Working Response: linearisierte Pseudo-Beobachtung für den IRLS-Schritt

Fisher-Information

I (β) = X^{⊤} WX

Fisher-Informationsmatrix: Inverse liefert die Varianz-Kovarianz-Matrix der Schätzer

Wald z-Statistik

z_{j} = \frac{β ^ _{j}}{SE ( β ^ _{j} )}

Wald-z-Statistik: Koeffizient dividiert durch seinen Standardfehler, asymptotisch standardnormalverteilt unter H₀: βⱼ = 0

Odds Ratio

O R_{j} = exp (\hat{β}_{j})

Odds Ratio: multiplikativer Effekt einer Einheitsänderung des j-ten Prädiktors auf das Chancenverhältnis

Devianz

D = 2 i = 1 \sum n [y_{i} ln (\frac{y _{i}}{μ ^ _{i}}) + (1 - y_{i}) ln (\frac{1 - y _{i}}{1 - μ ^ _{i}})]

Devianz: Maß für die Abweichung des Modells vom saturierten Modell (je kleiner, desto besser)

AIC

AIC = - 2 ℓ + 2 p

Akaike-Informationskriterium: Modellgüte mit Strafe für Komplexität (p = Parameteranzahl)

McFadden R²

R_{McF}^{2} = 1 - \frac{ℓ}{ℓ _{0}}

McFadden-Pseudo-R²: Anteil der Log-Likelihood, der durch das Modell erklärt wird (ℓ₀ = Null-Modell)

Annahmen

Binäre Zielvariable (0/1)
Unabhängigkeit der Beobachtungen
Linearer Zusammenhang zwischen logit(π) und den Prädiktoren
Keine perfekte Multikollinearität zwischen den Prädiktoren
Ausreichende Stichprobengröße (Faustregel: ≥ 10 Ereignisse pro Prädiktor)

Einschränkungen

Vollständige oder quasi-vollständige Separation → unendliche β̂-Schätzer und extrem große Standardfehler
Nicht geeignet für ordinale oder multinomiale Zielgrößen
Empfindlich gegenüber Ausreißern im Prädiktorraum
Keine Berücksichtigung von Überdispersion (dafür quasi-binomial oder Beta-Binomial verwenden)

Referenzen

Hosmer, D.W., Lemeshow, S., Sturdivant, R.X., Applied Logistic Regression, 3rd Ed., Wiley
Agresti, A., Categorical Data Analysis, 3rd Ed., Wiley
McCullagh, P., Nelder, J.A., Generalized Linear Models, 2nd Ed., Chapman & Hall