Elementare Regression

Einführung in die Regression
Die Regression ist eine statistische Methode, die verwendet wird, um die Beziehung zwischen zwei oder mehr Variablen zu modellieren. Im Kontext der elementaren Regression betrachten wir speziell den linearen Zusammenhang zwischen einer abhängigen Variable (oft als $Y$ bezeichnet) und einer unabhängigen Variable (oft als $X$ bezeichnet).

Grundbegriffe und Notationen

• Abhängige Variable $Y$: Dies ist die Variable, die wir vorhersagen oder erklären möchten. Manchmal wird sie auch als Zielvariable oder Regressand bezeichnet.
• Unabhängige Variable $X$: Dies ist die Variable, die wir verwenden, um die abhängige Variable vorherzusagen oder zu erklären. Sie wird auch als Prädiktor oder Regressor bezeichnet.
• Stichprobe: Eine Sammlung von Beobachtungen (Paaren von X und Y), die verwendet wird, um die Regressionsanalyse durchzuführen.

Lineares Regressionsmodell
Das einfachste Regressionsmodell ist das lineare Modell, das die Beziehung zwischen $X$ und $Y$ durch eine gerade Linie beschreibt. Mathematisch wird diese Beziehung durch die Gleichung

$Y = \beta_0 + \beta_1 X + \varepsilon$

dargestellt. Hierbei bedeuten:

• $\beta_0$ (Beta Null): Der Achsenabschnitt oder Intercept. Dies ist der Wert von $Y$, wenn $X$ gleich null ist.
• $\beta_1$ (Beta Eins): Der Steigungskoeffizient oder Slope. Dies ist die Veränderung in $Y$ für eine Einheit Veränderung in $X$.
• $\varepsilon$ (Epsilon): Der Fehlerterm oder Residuum, der die Differenz zwischen den beobachteten Werten und den durch das Modell vorhergesagten Werten darstellt. Er erfasst die Variabilität in $Y$, die durch $X$ nicht erklärt wird.

Schätzung der Regressionsparameter
Die Parameter $\beta_0$ und $\beta_1$ werden durch die Methode der kleinsten Quadrate (Least Squares) geschätzt. Diese Methode minimiert die Summe der quadrierten Abstände (Residuen) zwischen den beobachteten Werten und den vorhergesagten Werten. Die Formeln für die Schätzung dieser Parameter sind:

$\hat{\beta_1} = \frac{\sum (X_i - \bar{X})(Y_i - \bar{Y})}{\sum (X_i - \bar{X})^2}$

$\hat{\beta_0} = \bar{Y} - \hat{\beta_1} \bar{X}$

Dabei sind:

• $\hat{\beta_1}$: Die geschätzte Steigung
• $\hat{\beta_0}$: Der geschätzte Achsenabschnitt
• $X_i$: Der i-te Wert der unabhängigen Variable
• $Y_i$: Der i-te Wert der abhängigen Variable
• $\bar{X}$: Der Mittelwert der unabhängigen Variable
• $\bar{Y}$: Der Mittelwert der abhängigen Variable

Interpretation der Regressionsparameter

• Der Achsenabschnitt $\hat{\beta_0}$ gibt den erwarteten Wert von $Y$ an, wenn $X = 0$ ist. In vielen praktischen Fällen hat dieser Wert keine bedeutende Interpretation, wenn $X = 0$ außerhalb des Beobachtungsbereichs liegt.
• Die Steigung $\hat{\beta_1}$ gibt an, um wie viel sich der Wert von $Y$ im Durchschnitt ändert, wenn $X$ um eine Einheit steigt. Eine positive Steigung bedeutet, dass $Y$ tendenziell steigt, wenn $X$ steigt, während eine negative Steigung bedeutet, dass $Y$ tendenziell sinkt, wenn $X$ steigt.

Vorhersagen mit dem Regressionsmodell
Nachdem die Regressionsparameter geschätzt wurden, kann das Modell verwendet werden, um Vorhersagen zu machen. Für einen gegebenen Wert von $X$, wird der vorhergesagte Wert von $Y$ durch die Gleichung

$\hat{Y} = \hat{\beta_0} + \hat{\beta_1} X$

bestimmt. Hierbei ist $\hat{Y}$ der vorhergesagte Wert von $Y$.

Güte der Anpassung
Die Güte der Anpassung eines Regressionsmodells wird oft durch das Bestimmtheitsmaß $R^{2}$ bewertet. Dieses Maß gibt den Anteil der Gesamtvarianz in $Y$ an, der durch $X$ erklärt wird. Es wird berechnet als

$R^2 = 1 - \frac{\sum (Y_i - \hat{Y}_i)^2}{\sum (Y_i - \bar{Y})^2}$

Ein $R^{2}$-Wert von 1 bedeutet, dass das Modell die Daten perfekt erklärt, während ein Wert von 0 bedeutet, dass das Modell keine Erklärungskraft hat.

Annahmen der linearen Regression
Damit die Ergebnisse der linearen Regression zuverlässig sind, müssen bestimmte Annahmen erfüllt sein:

• Linearität: Die Beziehung zwischen $X$ und $Y$ ist linear.
• Unabhängigkeit: Die Beobachtungen sind unabhängig voneinander.
• Homoskedastizität: Die Varianz der Fehlerterme ist konstant.
• Normalität: Die Fehlerterme sind normalverteilt.