Regression & Korrelation

Regressions-ANOVA (Varianzzerlegung)

Zerlegt die Gesamtstreuung der Zielgröße in erklärte (Regression) und unerklärte (Residuen) Anteile.

Statusvalidated

Version1.0.0

Minitab-EntsprechungStat > Regression > Regression > Fit Regression Model (ANOVA table)

Beschreibung

Die Regressions-ANOVA prüft, ob das Regressionsmodell als Ganzes signifikant zur Erklärung der Varianz der Zielgröße beiträgt. Die Gesamtstreuung SST wird in die durch das Modell erklärte Streuung SSR und die Residualstreuung SSE zerlegt. Über die Freiheitsgrade (df) werden die mittleren Quadratsummen (MS) berechnet, deren Verhältnis die F-Statistik ergibt. Ein signifikanter F-Test (p < α) zeigt, dass mindestens ein Prädiktor einen statistisch bedeutsamen Einfluss auf die Zielgröße hat.

Formeln

SST

S S_{T} = i = 1 \sum n (y_{i} - \overset{y}{ˉ})^{2}

Gesamtstreuung (Total Sum of Squares): Summe der quadrierten Abweichungen aller Beobachtungen vom Gesamtmittelwert

SSR

S S_{R} = i = 1 \sum n (\overset{y}{^}_{i} - \overset{y}{ˉ})^{2}

Regressions-Streuung (Regression Sum of Squares): durch das Modell erklärter Anteil der Streuung

SSE

S S_{E} = i = 1 \sum n (y_{i} - \overset{y}{^}_{i})^{2} = i = 1 \sum n e_{i}^{2}

Residual-Streuung (Error Sum of Squares): nicht erklärter Anteil der Streuung

Zerlegung

S S_{T} = S S_{R} + S S_{E}

Fundamentale Identität: Gesamtstreuung = Modellstreuung + Residualstreuung

d f_{R} = p - 1, d f_{E} = n - p, d f_{T} = n - 1

Freiheitsgrade: p = Anzahl Modellparameter (inkl. Intercept), n = Stichprobengröße

M S_{R} = \frac{S S _{R}}{d f _{R}}, M S_{E} = \frac{S S _{E}}{d f _{E}}

Mittlere Quadratsummen: SS normiert auf die Freiheitsgrade

F = \frac{M S _{R}}{M S _{E}} \sim F (d f_{R}, d f_{E})

F-Statistik: Verhältnis der mittleren Modellstreuung zur mittleren Residualstreuung. Folgt unter H₀ einer F-Verteilung.

R²

R^{2} = 1 - \frac{S S _{E}}{S S _{T}} = \frac{S S _{R}}{S S _{T}}

Bestimmtheitsmaß: Anteil der durch das Modell erklärten Streuung (0 ≤ R² ≤ 1)

Annahmen

Linearer Zusammenhang zwischen Prädiktoren und Zielgröße (im Parameterraum)
Residuen sind normalverteilt mit Erwartungswert 0
Homoskedastizität: konstante Residualvarianz
Unabhängigkeit der Beobachtungen

Einschränkungen

Ein signifikanter F-Test sagt nicht, welche Prädiktoren signifikant sind — dafür die Koeffizienten-t-Tests prüfen
R² steigt mit jeder zusätzlichen Variable, auch wenn sie keinen echten Beitrag leistet — Adj. R² bevorzugen

Referenzen

Montgomery, D.C., Peck, E.A., Vining, G.G., Introduction to Linear Regression Analysis, 6th Ed., Wiley — Chapter 2 & 3
Kutner, M.H. et al., Applied Linear Statistical Models, 5th Ed., McGraw-Hill — Chapter 6
NIST/SEMATECH e-Handbook of Statistical Methods, Section 4.2.1