[통계] 회귀 (regression) 분석에서 비편향 (불편, unbiased) 의 의미와 증명

바쁘다는 핑계로 너무 오랜만의 포스팅이 되었네요.

이번 포스팅의 주제는 바로 회귀분석의 가장 기초적인 부분이라고 할 수 있는 내용입니다.

 

바로 비편향 혹은 불편. 영어로는 unbiased 라고 하죠.

여기서 비편향 혹은 불편, unbiased 가 의미하는 것이 무엇일까요?

 

의학 통계를 하시는 분들은 아마 이 말 자체를 처음 들어본 분들도 많이 있으실 겁니다.

이 말을 처음 들어보았다면, 반성의 시간을 갖도록 합시다. ^^;

 

일단 증명은 추후에 하도록 하고, unbiased 의 의미부터 살펴보기 위해 수식으로 살펴보면

 $ E(\hat{\beta}_{1}) = \beta_{1} $ 를 나타냅니다.

 

즉, 표본에서 구한 $ \hat{\beta}_{1} $ 이라는 추정량은

우리가 구하고자 하는 모수들의 $ \beta_{1} $ 값과 평균적으로 맞다는 뜻이 됩니다.

 

 

공부를 해보시면 아시겠지만,  $ \hat{\beta}_{1} $ 은 다음과 같습니다.

$$ \hat{\beta}_{1} = \beta_{1} + \frac{ \sum_{i=1}^{n} (x_{i} - \bar{x})u_{i} } {\sum_{i=1}^{n}(x_{i} - \bar{x})^2 } $$

 

여기에서 $ E(\hat{\beta}_{1}) $ 을 구하기 위하여 위의 식을 정리해보면

$$ E(\hat{\beta}_{1}) = \beta_{1} + \frac{ \sum_{i=1}^{n} (x_{i} - \bar{x})E(u_{i}) } {\sum_{i=n}^{n}(x_{i} - \bar{x})^2 } = \beta_{1} + 0 = \beta_{1} $$

이 만족하게 됩니다.

회귀분석의 기본가정 중의 하나인 오차항의 평균 0 ( $ E(u_{i}) = 0 $ ) 이기에 위의 식이 성립하게 되겠죠.

 

즉, 설명변수의 값들의 비특이성이 만족되고, 

설명변수들이 고정되고, 오차평균이 0 이 되면 비편향된 값을 구할 수 있게 됩니다. 

 

추가적으로 설명변수들이 고정된다는 것이 무슨 말인지 모르실 수도 있습니다.

이 부분은 추후 다시 포스팅 해보도록 하겠습니다.

   ## 2019.09.17 설명변수의 고정 포스팅 추가 https://bpapa.tistory.com/52

 

** 도움이 되셨다면, '공감' 버튼 부탁드립니다^^