[Probability] Normal Distribution - Central Limit Theroem

중심 극한 정리(Central Limit Theorem)

Definition

만약 \(X_1,...,X_n\)이 평균값 \(\mu\)와 분산 \(\sigma^2\)을 갖는 동등한 확률 변수라면 이들의 평균 \(\bar{X}\)는 다음과 같이 근사화 될 수 있습니다:

\( N \begin{pmatrix} \mu, \displaystyle{\frac{\sigma^2}{n}} \end{pmatrix} \)

이와 유사하게 분포의 합 \(X_1 + \cdot \cdot \cdot + X_n \)은 다음과 같이 근사화 됩니다:

\(N(n \mu, n \sigma^2)\)

Proof

\( E(X_i) = \mu, \ Var(X_i) = \sigma^2, \  1 \le i \le n \) 이므로

\( E(X_1 + \cdot \cdot \cdot + X_n) = E(X_1) + \cdot \cdot \cdot + E(X_n) = n \mu \)

\( Var(X_1 + \cdot \cdot \cdot + X_n) = Var(X_1) + \cdot \cdot \cdot + Var(x_n) = n \sigma^2 \)

따라서, 

\( X_1 + \cdot \cdot \cdot + X_n \sim N(n \mu, n \sigma^2) \)

그러면, \(X_1, ... ,X_n\)의 평균 \( \bar{X} = \displaystyle{\frac{X_1 + \cdot \cdot \cdot + X_n}{n}} \)은,

\( \bar{X} = \displaystyle{\frac{X_1 + \cdot \cdot \cdot + X_n}{n}} \sim \displaystyle{\frac{1}{n}} N(n\mu, n \sigma^2) = N \begin{pmatrix} \displaystyle{\frac{n \mu}{n}, \frac{n \sigma^2}{n^2}} \end{pmatrix} = N \begin{pmatrix} \mu, \displaystyle{\frac{\sigma^2}{n}} \end{pmatrix} \)

Meaning

중심 극한 정리는 각각의 확률 변수 \(X_i\)의 실제 분포에 상관없이 이들 평균 \(\bar{X}\)는 분포 \( N(\mu, \sigma^2/n) \)으로 근사화 할 수 있다는 것을 의미합니다. 즉, 독립적인 확률 변수의 집합에 대한 평균은 항상 정규 분포로 근사화 될 수 있다는 것입니다.

또한, 중심 극한 정리는 대부분의 자연계에서 관찰되는 현상들이 왜 정규 분포에 가깝게 표현되는지를 설명하기도 합니다. 즉, 정규 분포에 유사한 양상을 띠는 수많은 작은 랜덤 사건들의 집합 또한 정규 분포로 나타나기 때문입니다.