Das lineare Regressionsmodell

Verallgemeinerbarkeit

Wie Sie bereits wissen, ist es Ziel der Inferenzstatistik, zu prüfen, ob die in einer Stichprobe gefundenen Ergebnisse auch in der Population gelten - kurzum, ob sie verallgemeinerbar sind.

Bei der linearen Regression müssen zur Überprüfung der Verallgemeinerbarkeit mehrere Faktoren auf Signifikanz überprüft werden:

das Regressionsmodell an sich
die Regressionskoeffizienten des Modells.

Wir haben uns bereits die Voraussetzungen zur Verallgemeinerbarkeit des linearen Regressionsmodells angesehen. Einige statistische Tests auf Verallgemeinerbarkeit kennen Sie bereits, z. B. den Χ²-Test.

Für das lineare Regressionsmodell verwenden wir den F-Test. Die Vorgehensweise ist wie bei den anderen statistischen Tests wie folgt:

Formulierung Hypothesenpaar
Teststatistik und Prüfgröße
Irrtumswahrscheinlichkeit
Ablehnungsbereich H₀
Entscheidung über H₀ & inhaltliche Interpretation

Das Thema statistisches Testen können Sie hier wiederholen.

Der F-Test ist ein statistischer Test, der die Wirkungen einer kategorialen unabhängigen Variablen auf eine metische abhängige Variable prüft.

Hierbei werden die Gruppen (also die Ausprägungen der kategorialen Variablen) über ihre Mittelwerte miteinander verglichen. Es geht bei der Prüfung also um die gefundenen Unterschiede der Gruppen.

1. Formulierung des Hypothesenpaars

H₀ soll ausdrücken, dass es keine Unterschiede der Gruppenmittelwerte gibt.

Allgemeine Form:
H₀: μ₁ = μ₂ = ... = μ_j = μ
mit μ_j = einzelne Gruppenmittelwerte
und μ = Gesamtmittelwert.

Für die lineare Regression lässt sich H₀ über den Determinationskoeffizient R² oder den Vergleich der Regressionskoeffizienten formulieren:
H₀: R² = 0 oder
H₀: β₁ = β₂ = ... = β_i = 0 .

Dies gilt auch für H₁. Hier geht es darum, dass mindestens ein Gruppenmittelwert nicht dem Gesamtmittelwert entspricht.

Allgemeine Form:
H₁: μ_j ≠ μ für mindestens ein j

Bei linearer Regression:
H₁: R² ≠ 0 oder
H₁: β_i ≠ 0 für mindestens einen Regressionskoeffizienten β.

2. Prüfgröße und Teststatistik

Da wir vom F-Test reden, ist es naheliegend, dass wir zur Überprüfung den kritischen F-Wert F_krit heranziehen und ihn mit dem empirischen F-Wert F_emp vergleichen.

Den kritischen F-Wert können wir aus der F-Tabelle. Dazu benötigen wir jedoch die Freiheitsgrade, die sich wie folgt ergeben:
Df = v₁, v₂
mit v₁ = Freiheitsgrade des Zählers (Anzahl der Gruppen) und v₂ = Freiheitsgrade des Nenners (Anzahl aller Gruppenmitglieder).

Ermittlung der Anzahl der Freiheitsgrade:
im Zähler: Anzahl der Gruppen -1
im Nenner: Anzahl aller Gruppenmitglieder - Anzahl der Gruppen .

Der empirische F-Wert muss rechnerisch ermittelt werden. Die allgemeine Formel soll hier keine weitere Rolle spielen, kann aber hier angesehen werden.
Für das lineare Regressionsmodell ergibt sich das emprische F aus:

3. Festlegung Irrtumswahrscheinlichkeit

An dieser Stelle wird Ihnen die in den Sozialwissenschaften übliche Irrtumswahrscheinlichkeit von α = 0.05 begegnen.

4. Festlegung Ablehnungsbereich H₀

Bevor eine Entscheidung über H₀ getroffen werden kann, muss bestimmt werden, in welchem Fall wir H₀ annehmen und wann wir H₀ ablehnen.

Beim F-Test gilt als Ablehnungsbereich für H₀:
F_emp > F_krit .

5. Entscheidung über H₀ & inhaltliche Interpretation

Anhand des Ablehnungsbereichs von H₀ wird entschieden, ob H₀ angenommen wird oder abgelehnt wird.

Wird H₀ abgelehnt und H₁ somit angenommen, gilt das Ergebnis in der Stichprobe als signifikant und kann auf die Population verallgemeinert werden.

Erst wenn das lineare Regressionsmodell als signifikant angenommen werden kann, betrachten wir im nächsten Schritt die Verallgemeinerbarkeit der Regressionskoeffizienten.