[통계] 제곱합, SST, SSE, SSR, 최소제곱법

지난번 포스팅, 잔차와 오차 (Residual and Error) 와 이어지는 내용으로,

최소제곱법 (최소자승법) 과도 연관이 되는 부분이고, 잘 알아두시면 좋은 내용입니다.

https://bpapa.tistory.com/8

혹시 오차와 잔차의 내용이 잘 기억이 안나거나 헷갈린다면, 

위의 포스팅을 한번 읽어보시는 게 도움이 되십니다.

# SST, total sum of squares 

$ SST = \sum_{i=1}^{n} (y_{i} - \bar{y})^2  $

위의 공식에서 알 수 있듯이, 

SST는 종속변수의 관측값( $yi$) 과 표본의 평균 ($\bar{y}$) 의 차이 (편차) 를 제곱하여 합한 값입니다.

# SSE, explained sum of squareds

$ SST = \sum_{i=1}^{n} (\hat{y_{i}} - \bar{y})^2  $

증명과정은 따로 생략하겠습니다.

$ \sum_{i=1}^{n} \hat{u_{i}} = 0 $

이 내용이 성립하기 때문에 쉽게 증명할 수 있습니다.

즉, 위의 공식에서 확인할 수 있는 내용은.

SSE 는 표본평균과 종속변수값 중 독립변수에 의해 설명된 부분과의 차이를 제곱하여 합한 값입니다.

 

# SSR, residual sum of squares

$  SSR =  \sum_{i=1}^{n} \hat{u_{i}}^2 = 0 $

이는 잔차들이 자신의 표본평균으로부터 벗어난 편차의 제곱 합입니다.

즉, 설명변수에 의하여 설명되지 않는 나머지 부분의 차이의 크기를 측정합니다.

** 주의 **

교과서마다 표기가 다릅니다. 어떠한 교과서는 SST 를 TSS 로, SSE 를 ESS 로, SSR 을 RSS 로 표기합니다.

이 포스팅은 Woooldridge 의 용어법을 따라서 SSE, SSR 로 표기하겠습니다.

$ SST = SSR + SSE $ 

의 등식은 절편이 포함된, 모형이 추정될 때 반드시 성립하게 됩니다. 

단 !

2 개의 직교방정식이 성립할때 $ SST = SSR + SSE $ 입니다.

정확하게 말하면, 

$ SST = SSR + SSE + 2\sum_{i=1}^{n} (\hat{y_{i}}-\bar{y}) \hat{u_{i}} $

으로 정리되고, 2 개의 직교 방정식이 성립할때 $ \sum_{i=1}^{n} (\hat{y_{i}}-\bar{y}) \hat{u_{i}} $ 의 값이 0 이 되기 때문입니다.

위의 내용을 종합하면,

2 개의 직교방정식이 성립하면 SSE 혹은 SSR 은 절대로 SST 보다 클 수가 없습니다.

나중에 시간이 된다면, 최소제곱법 (최소자승법) 에 대한 추가적인 포스팅을 이어가도록 하겠습니다.

도움이 되셨다면, '공감' 버튼 부탁드립니다^^