Regression & Korrelation

Regressionskoeffizienten (t-Test & Konfidenzintervalle)

Prüft die Signifikanz einzelner Regressionskoeffizienten mittels t-Test und bestimmt Konfidenzintervalle.

Statusvalidated

Version1.0.0

Minitab-EntsprechungStat > Regression > Regression > Fit Regression Model (Coefficients table)

Beschreibung

Für jeden Regressionskoeffizienten βⱼ wird ein t-Test durchgeführt, der prüft, ob der Koeffizient signifikant von null verschieden ist (H₀: βⱼ = 0). Der Standardfehler SE(βⱼ) ergibt sich aus der Diagonale der Varianz-Kovarianz-Matrix der Schätzer. Die t-Statistik tⱼ = βⱼ / SE(βⱼ) folgt einer t-Verteilung mit n − p Freiheitsgraden. Ein p-Wert < α bedeutet, dass der Prädiktor einen signifikanten Beitrag zum Modell leistet. Die Konfidenzintervalle [βⱼ ± t_{α/2} · SE(βⱼ)] geben den Bereich an, in dem der wahre Koeffizient mit der gewählten Konfidenz liegt.

Formeln

Schätzer

\hat{β} = (X^{⊤} X)^{- 1} X^{⊤} y

OLS-Schätzung (Ordinary Least Squares): Koeffizientenvektor durch Minimierung der Residuenquadratsumme

Varianz-Kovarianz

Var (\hat{β}) = M S_{E} \cdot (X^{⊤} X)^{- 1}

Varianz-Kovarianz-Matrix der Schätzer: MSE × Inverse der Informationsmatrix

SE (\hat{β}_{j}) = M S_{E} \cdot [(X^{⊤} X)^{- 1}]_{jj}

Standardfehler des j-ten Koeffizienten: Wurzel aus MSE × j-tes Diagonalelement der Inversen

t-Statistik

t_{j} = \frac{β ^ _{j}}{SE ( β ^ _{j} )} \sim t (n - p)

t-Wert: Koeffizient dividiert durch seinen Standardfehler. Folgt unter H₀: βⱼ = 0 einer t-Verteilung mit n − p Freiheitsgraden.

p-Wert

p_{j} = 2 \cdot P (T > ∣ t_{j} ∣), T \sim t (n - p)

Zweiseitiger p-Wert: Wahrscheinlichkeit, unter H₀ einen mindestens so extremen t-Wert zu beobachten

\hat{β}_{j} \pm t_{α /2, n - p} \cdot SE (\hat{β}_{j})

Konfidenzintervall: Der wahre Koeffizient liegt mit (1 − α) · 100 % Wahrscheinlichkeit in diesem Bereich. Enthält das Intervall die Null, ist der Koeffizient nicht signifikant.

Annahmen

Residuen sind normalverteilt (für exakte t-Verteilung)
Homoskedastizität: konstante Residualvarianz über alle Beobachtungen
Keine perfekte Multikollinearität (X'X muss invertierbar sein)
Unabhängigkeit der Beobachtungen

Einschränkungen

Bei starker Multikollinearität (hohe VIF) werden die SE aufgebläht und die t-Tests verlieren an Trennschärfe
Bei nicht-normalverteilten Residuen sind die p-Werte nur asymptotisch korrekt (große n)
Einzelne t-Tests berücksichtigen kein multiples Testen — bei vielen Termen steigt die Wahrscheinlichkeit falsch-positiver Ergebnisse

Referenzen

Montgomery, D.C., Peck, E.A., Vining, G.G., Introduction to Linear Regression Analysis, 6th Ed., Wiley — Chapter 2.4 & 3.3
Kutner, M.H. et al., Applied Linear Statistical Models, 5th Ed., McGraw-Hill — Chapter 6.5
NIST/SEMATECH e-Handbook of Statistical Methods, Section 4.3.1