[Data Science / Stastistics] Properties of Point Estimates

편향 점 추정 (Unbiased Point Estimates)

Definition

파라미터 \(\theta\)에 대한 점추정 \(\hat{\theta}\)는 \( \mathrm{E}(\hat{\theta}) = \theta \)인 경우 "비편향(unbiased)"라고 한다. "비편향"은 점 추정에 대한 좋은 특성이라고 할 수 있다. 만약 점 추정이 비편향이 아니라면, 이를 "편향(biased)"이라고 하며 다음과 같이 정의된다:

\( \mathrm{bias} = \mathrm{E}(\hat{\theta}) - \theta  \)

다른 조건이 동일한 경우, 점 추정의 보다 작은 절대값의 편향성이 더 좋은 것이다.

성공 확률의 점 추정

Definition

라고 할 때 

는 성공 확률 p의 비편향 점 추정이다.

Proof

[Proof]

성공 수 X는 이항 분포

를 따르므로 X의 기대값은

이다. 따라서,

즉,

이므로 는 성공 확률 p의 비편향 점 추정이다.

모집단 평균의 점 추정

Definition

만약 이 평균값 μ를 갖는 확률 분포로부터 관찰된 표본 집합이라면,

표본 평균

은 모집단의 평균 μ의 비편향 점추정이다.

Proof

[Proof]

정의에 의해

및

이므로,

이다.

따라서, 는 모집단 평균 μ의 비편향 점추정이다.

모집단 분산의 점 추정

Definition

[Def] 모집단 분산의 점 추정

만약 이 분산 을 갖는 확률 분포로부터 관찰된 표본 집합이라면,

표본 분산

은 모집단 분산 의 비편향 점 추정이다.

Proof

[Proof]

우선 다음을 상기하자:

 ....(1)

이므로    ....(2)

    ....(3)

   ....(4)

          

          

          

          

         

         

따라서 이므로 은 의 비편향 분산이다.

최소 분산 추정 (Minimum Variance Estimates, MVE)

Definition

[Def] 최소 분산 추정 (Minimum Variance Estimates, MVE)

점 추정에 있어 가장 유리한 상황은 비편향의 그리고 가능한 가장 작은 분산을 갖는 점 추정을 성립시키는 것이다. 비편향의 다른 점 추정보다 작은 분산을 갖는 비편향 점 추정을 "최소 분산 비편향 추정(Minimum Variance Unbiased Estimate, MVUE)"이라고 부른다.

Definition

[Def] 상대 효율

비편향 점 추정 의 비편향 점 추정 에 대한 효율은 다음과 같이 정의된다:

평균 제곱 오차 (Mean Square Error)

Definition

[Def] 평균 제곱 오차 (Mean Square Error)

보다 나은 점 추정을 채택하기 위해 어떤 상황에서는 서로 다른 평균과 분산을 갖는 두 개의 점 추정을 비교하는 것이 좋을 수도 있다. 그러나, 두 개의 점 추정을 비교함에도 불구하고 두 개 모두 비교적 편향이 클 수도 있다. 이 경우 일반적으로 평균 제곱 오차를 최소화하는 점 추정을 채택하는 것이 좋다.

평균 제곱 오차는 다음과 같이 정의된다:

또한

따라서 비편향일 경우(bias = 0),