[Data Science / Statistics] Constructing Parameter Estimates

이번 글에서는 어떤 분포의 파라미터에 대해 추정하는 방법을 알아보도록 하겠다. 예를 들어, 실험자가 데이터 세트를 얻었으며 이 데이터 세트를 베타 분포라고 가정할 경우 베타 분포의 파라미터를 어떻게 추정할 것인가에 대한 물음이다.

이를 해결하는 방법은 두 가지가 있는데, 하나는 모멘트 방법(Moment of Moments)이며 다른 하나는 최대 가능성 추정(Maximum Likelyhood Estimation; MLE)이다.

[Definition] 파라미터 한 개에 대한 모멘트 방법 점 추정

만약 데이터 세트가 한 개의 미지의 파라미터 \(\theta\)에 의존하는 확률분포로부터 얻은 데이터 \(x_1 , ... , x_n\)이라면, 파라미터의 모멘트 방법 점 추정 \(\hat{\theta}\)은 다음 방정식을 통해 얻을 수 있다:

\(\bar{x}= \mathrm{E}(X)\)

[Definition] 파라미터 두 개에 대한 모멘트 방법 점 추정

만약 데이터 세트가 두 개의 미지의 파라미터에 의존하는 확률분포로부터 얻은 데이터 \(x_1 , ... , x_n\)이라면, 파라미터의 모멘트 방법 점 추정은 다음 두 개의 방정식을 통해 얻을 수 있다:

\(\bar{x}=\mathrm{E}(X)\), \(s^2 = \mathrm{Var}(X)\)

[Definition] 한 개의 파라미터에 대한 최대 가능성 추정

만약 데이터 세트가 하나의 미지의 파라미터 \(\theta\)에 의존하는 확률분포 함수 \(f(x,\theta)\)로부터 얻은 데이터 값 \(x_1 , ... , x_n\)으로 구성되어 있다면, 파라미터의 최대 가능성 추정 \(\hat{\theta}\)은 다음의 가능성 추정 함수를 최대화하여 얻을 수 있다:

\(L(X_1,...,X_n,\theta) = f(x_1,\theta) \times ... \times f(x_n,\theta)\)

[Definition] 두 개의 파라미터에 대한 최대 가능성 추정

만약 데이터 세트가 두 개의 미지의 파라미터에 의존하는 확률분포 함수 \(f(X, \theta_1, \theta_2)\)로부터 얻은 데이터 값 \(x_1,...,x_n\)으로 구성되어 있다면, 최대 가능성 추정 및 는 다음의 최대 가능성 추정 함수를 최대화하여 얻을 수 있다:

\(L(X_1,...,X_n, \theta_1, \theta_2) = f(X_1, \theta_1, \theta_2) \times ... \times f(X_n, \theta_1, \theta_2)\)