단순선형회귀분석 중 최소제곱법에 대하여 포스팅 하려고 한다.

이해를 돕고자 적다보니 표현이 다소 불편 할 수도 있다. 전공자는 스킵하면 되겠다.

두개의 변수X와 Y의 자료가 있고 이를 통해 이들간에 선형적인 관계를 알려고 한다. 

이를 가장 잘 설명할 수 있는 직선은 무엇일까? 에 대한 해답 중 하나로 

최소제곱법이 이에 해당한다.

최소제곱법은 관측값과 예측값의 오차를 최소로 하는 직선을 찾는 것을 목표로 한다.

우선 고등학교 때 배웠던 직선의 방정식을 생각해보자.

$$ y=ax+b$$의 형태를 가지고 있다.

즉, 최소제곱법은 실제 측정된 y값과 x에 대한 a와 b로 계산된 y값의 차이가 최소가 되는 직선을 의미한다.

직선에 방정식으로 x값에 의해 생성된 y를 아래와 같이 표기하겠다.

$$\hat{y}$$

우리가 최소화 하여야 하는 것을 다시한번 정의해보자.

관측된 x들이 다음과 같다고 하자.

$$X=\{x_1, x_2, ... , x_n\}$$

그러면 이 때 관측된 다른 변수 Y는 다음과 같이 나타내보자.

$$Y=\{y_1,y_2,..., y_n\}$$

우리는 x의 i 시점에 대해 예측한 y값과 y의 오차 합을 최소화 하는 것이 목표이다.

이를 수식으로 나타내면 다음과 같다.

$$\hat{y_i}-y_i$$

이처럼 우리는 모형에서 최종적으로 최소화 하고자 하는 함수를 cost function이라고 하며, 연산에서 최소화 하고자 하는 함수를 loss function이라 부른다.

$$\sum [\hat{y_i}-y_i]$$

을 최소화 하는 것이 목표다. 

이를 어떻게 계산할까?

우리는 고등학교 때 배운 미분이라는 개념을 가지고 오려고 한다.

위의 값이 최소가 되는 절편과 기울기를 구하는게 목표이므로, 이를 편미분을 통해 계산하는 것이다.

우리가 찾으려하는 식은 다음과 같다.

$$\hat{y_i}=\beta_0+\beta_1 x_i+e$$

그렇다면 최소화 하고자 하는 값은 이를 편의상 다음과 같이 나타내겠다.

$$S=\sum{[y_i-\hat{y_i}] ^2}$$

절편에 대하여 편미분해보자.

$$\frac{\partial{S}}{\partial{\beta_0}}=2 \times \sum{[y_i-\beta_0-\beta_1 x_i]}[-1]=-2\sum{y_i-\beta_0-\beta_1 x_i}$$

$$\frac{\partial{S}}{\partial{\beta_0}}=0 \rightarrow -2\sum{y_i-\beta_0-\beta_1 x_i}=0 \rightarrow \sum{y_i}=\sum{\beta_0}+\sum{\beta_1 x_i} \rightarrow \sum{y_i}= n \beta_0+\sum{\beta_1 x_i}$$

이제 기울기에 대하여 편미분해보자.

$$\frac{\partial{S}}{\partial{\beta_1}}=2 \times \sum{[y_i-\beta_0-\beta_1 x_i]}[-x_i]=-2\sum{x_i[y_i-\beta_0-\beta_1 x_i]}$$

$$\frac{\partial{S}}{\partial{\beta_1}}=0 \rightarrow -2\sum{x_i[y_i-\beta_0-\beta_1 x_i]}=0 \rightarrow \sum{x_i y_i}=\sum{\beta_0 x_i}+\sum{\beta_1 [x_i]^2}$$

절편을 편미분하여 구한 수식에 다음을 곱하여보자.

$$\sum x_i$$ 

$$\rightarrow \sum {x_i}[n \beta_0+\sum{x_i \beta_1}]=\sum{x_i}\sum{y_i}$$

방금 구한 식을 기울기에 대하여 편미분한 수식에 서 빼보자.

$$\beta_1[[\sum{x_i}]^2-n \sum{x_{i}^2}]=\sum x_i \sum y_i - n\sum x_i y_i$$

$$\beta_1=\frac{\sum x_i \sum y_i -n \sum x_i y_i}{[[\sum{x_i}]^2 -n \sum{x_i^2}]}$$

$$\sum x_i=n\bar{x}$$

따라서 분모는 다음과 같이 나온다.

$$n^2 \bar{x}^2-n \sum{x_i}^2=n [n \bar{x}^2 - \sum{x_i}^2]$$

$$=n(2n \bar{x}^2 - n\bar{x}^2-\sum{x_i}^2=n[2\bar{x}\sum{x_i}-\sum{\bar{x}^2}-\sum{x_i}^2]=n\sum{[x_i-\bar{x}]}$$

분자는 다음과 같다.

$$\sum x_i \sum y_i -n \sum x_i y_i =[n \bar{x}][n \bar{y}] -n \sum x_i y_i$$

$$=n[n\bar{x}\bar{y} -\sum x_i y_i ]=n[2n\bar{x}\bar{y}-n\bar{x}\bar{y}-\sum x_i y_i $$

$$=n[n[\sum x_i\bar{y} +\sum y_i\bar{x}]-\sum{\bar{x}\bar{y}}-\sum x_i y_i$$

$$=n\sum[x_i-\bar{x}][y_i-\bar{y}]$$

따라서 기울기는 

$$\beta_1=\frac{\sum{[x_i-\beta{x}][y_i-\bar{y}]}}{\sum{[x_i-\bar{x}]}^2}=\frac{S_xy}{S_xx}$$

이를 대입해 절편을 구하면

$$\beta_0=\bar{y}-\beta_1\bar{x}$$