단순회귀분석 (Simple Regression Analysis)

단순 선형 회귀 모형 (Simple Linear Regression Analysis)

$y=\beta_0+\beta_1x+\epsilon$

 

$\beta_0$와 $\beta_1$ 의 값 $\hat{\beta_0}$, $\hat{\beta_1}$으로 추정하는 방법

 

1. 최소제곱법(Least Squares Method)에 의한 추정

오차제곱합 $S$를 최소로 하는 $\beta_0$와 $\beta_1$의 값 $\hat{\beta_0}$, $\hat{\beta_1}$ 찾기

 

$S=\sum_{i=1}^{n} \epsilon_i^2=\sum_{i=1}^{n} (y_i-\beta_0+\beta_1x_i)^2$

 

$S$를 최소화하기 위해 $\beta_0$와 $\beta_1$으로 편미분한다.

...

위의 식을 0으로 만들면 다음과 같은 정규방정식을 얻을 수 있다.

 

$\hat{\beta_0}n+\hat{\beta_1}\sum x_i = \sum y_i$

$\hat{\beta_0}\sum x_i + \hat{\beta_1}\sum x_i^2 = \sum x_iy_i$

 

(물론 이차편미분행렬 $H$까지 양정치어야 최소임을 의미한다.)

따라서 정규방정식을 풀면 $\hat{\beta_0}$와 $\hat{\beta_1}$을 얻을 수 있다. 이를 최소제곱추정량(Least Squares Estimater; LSE)라 한다.

 

$\hat{\beta_1}=\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x})^2}$

$\hat{\beta_0}=\bar{y}-\hat{\beta_1}\bar{x}$

이때,

$S_{(xx)}=\sum (x_i=\bar{x})^2$

$S_{(yy)}=\sum (y_i=\bar{y})^2$

$S_{(xy)}=\sum (x_i-\bar{x})(y_i-\bar{y})$

라 하면, 

$\hat{\beta_1}=\frac{S_{(xy)}}{S_{(xx)}}$

이 된다.