Regressionsanalyse

Überblick

Die Regression beschreibt den Zusammenhang zwischen einer abhängigen Variable (Y, Zielgröße) und einer oder mehreren unabhängigen Variablen (X, Einflussgrößen) durch ein mathematisches Modell. Während die Korrelation nur fragt „bewegen sie sich gemeinsam?", liefert die Regression eine Gleichung, mit der Y vorhergesagt oder verstanden werden kann.

Einfache lineare Regression: Eine X-Variable, ein Y. Modell: Y = β₀ + β₁·X + ε. β₀ ist der Achsenabschnitt, β₁ die Steigung, ε der Restfehler. Der häufigste Einstieg.

Multiple Regression: Mehrere X-Variablen: Y = β₀ + β₁·X₁ + β₂·X₂ + … + ε. Erlaubt es, den Effekt jeder Variable bei Konstanthalten der anderen zu schätzen.

R² (Bestimmtheitsmaß): Anteil der Streuung in Y, der durch das Modell erklärt wird. 0 = Modell erklärt nichts, 1 = perfekte Erklärung. R² = 0,85 heißt: 85 % der Y-Variation lässt sich auf die X erklären.

Adjustiertes R²: Korrigiert R² für die Anzahl der Variablen. Wichtig bei multipler Regression: zusätzliche X erhöhen R² immer, das adjustierte R² nur, wenn sie wirklich beitragen.

p-Wert pro Koeffizient: Testet, ob ein Koeffizient signifikant von 0 verschieden ist. p < 0,05 → die Variable trägt nachweisbar zum Modell bei.

Residuen: Differenz zwischen tatsächlichem Y und vorhergesagtem Y. Eine gute Regression hat zufällig verteilte Residuen ohne Muster — Muster deuten auf nicht erfasste Effekte hin.

Vorgehen

• Vor der Regression Streudiagramme erstellen — passen die Daten zu einem linearen Modell?
• Modell anpassen (Y und X auswählen, Software laufen lassen).
• R² und p-Werte prüfen — ist das Modell überhaupt sinnvoll?
• Residuen prüfen: zufällige Streuung um null, keine Muster, keine Trichter.
• Modell auf neue Daten anwenden — sagt es wirklich vorher, was es soll?
• Bei multipler Regression auf Multikollinearität prüfen (VIF) und überflüssige X entfernen.

Interpretation

Ein hoher R²-Wert ist nicht automatisch ein gutes Modell. Wichtiger sind: passen die Vorhersagen für Werte außerhalb der Trainingsdaten, sind die Residuen unauffällig, und macht das Modell inhaltlich Sinn? Ein Modell mit R² = 0,99 und systematischen Residuen ist wertloser als eines mit R² = 0,7 und sauberen Residuen.

Vorhersagen außerhalb des beobachteten X-Bereichs (Extrapolation) sind riskant. Das Modell „weiß" nichts über das, was es nicht gesehen hat — die lineare Beziehung könnte dort längst zu Ende sein.

Stolperfallen

Lineares Modell für nichtlineare Daten: Ein gekrümmter Zusammenhang wird durch eine Gerade nur grob beschrieben. Die Residuen zeigen eine deutliche Krümmung — das ist das Signal, ein nichtlineares oder transformiertes Modell zu probieren.

Multikollinearität: Wenn zwei X stark korreliert sind, kann das Modell ihre Einzelbeiträge nicht trennen — die Koeffizienten werden instabil und schwer interpretierbar. VIF-Werte > 5 sind ein Warnsignal.

Overfitting: Ein Modell mit zu vielen X für zu wenige Beobachtungen passt sich an Zufallsrauschen an. R² wirkt großartig, neue Daten enttäuschen. Faustregel: mindestens 10 Beobachtungen pro Koeffizient.

Heteroskedastizität ignoriert: Wenn die Streuung der Residuen mit X wächst (Trichter), sind die Standardfehler verzerrt — p-Werte und Konfidenzintervalle stimmen nicht mehr. Transformation oder gewichtete Regression hilft.

Extrapolation: Das Modell für Werte außerhalb des Trainingsbereichs einsetzen — riskant, weil dort nichts geprüft wurde. Vorhersagen nur im Bereich der beobachteten X als belastbar betrachten.

Kausale Sprache bei beobachteten Daten: Eine Regression auf Beobachtungsdaten beschreibt Zusammenhänge, beweist aber keine Ursache. Kausale Aussagen brauchen ein Experiment (DOE) oder sehr starke Argumente.

Beispieldaten

Dieses Modul wird mit den folgenden Beispieldatensätzen ausgeliefert — mit einem Klick in der App ladbar.

Verfügbar in folgenden Zyklen

• DMAIC: Improve
• DMADV: Design
• 8D: D5 — Abstellmaßnahmen