Scientific Computing & Data Science

[Def.]확률 변수 X의 분산(variance)는 다음과 같이 정의된다:또는 동등하게, [Proof] [Meaning]분산은 수학적 의미로 확률변수와 이에 대한 기대치의 차이에 대한 제곱의 평균을 의미한다.즉, 같은 평균값을 갖는 확률 분포라도 각 확률 변수와 평균값의 차이가 클수록 분산의 크기가 커지며, 단순하게는 확률변수가 퍼져있는 정도로 이해하면 된다.

연속 확률 변수 \(\mathbf{X}\)의 누적 분포 함수(Cumulative Distribution Function; CDF)는 다음과 같이 정의된다: \( \displaystyle{ F(x) = P(X \leq x) = \int _{-\infty}^{x}{f(y)}dy }\) 역으로 확률 밀도 함수 \(f(x)\)는 누적 분포 함수 \(F(x)\)를 미분하여 계산된다: \(\displaystyle{f(x) = \frac{dF(x)}{dx}}\) 또한 특정 범위의 확률 변수에 대한 확률은 다음과 같다: \(\displaystyle{ P(a \leq X \leq b) = P(X \leq b) - P(X \leq a) = F(b) - F(a) = \int _{a}^{b}{f(x)}dx }\)

확률 밀도 함수(Probability Density Function; PDF) \(f(x)\)는 연속 확률 변수의 확률적 속성을 정의하는 함수이며, 다음 두 가지 조건을 만족해야 한다. (1) \(\displaystyle{\int{_{\mathrm{state \ space}}{\ f(x)}dx = 1} }\) (2) \(\displaystyle{\int{_{\mathrm{state \ space}}{f(x)dx} = 1} }\)

누적 분포 함수(Cumulative Distribution Function; CDF) \(F(x)\)를 갖는 연속 확률 변수 \(\mathbf{X}\)의 중간값(Median)은 다음 관계식이 만족되는 \(\mathbf{X}\)를 의미한다. \(F(X) = 0.5\) (1) 일반적으로 이산 문제에서 값을 얻는 것이 불가능하다.중간값은 값의 분포가 한쪽으로 치우쳐지는가를 판단할 수 있는 지표가 되기도 하나, 다음과 같은 결함을 가지고 있다.(2) 값을 찾는 것이 번거롭다. 만약 중간값과 기대값이 일치하는 경우 이를 "대칭 확률 변수"라고 한다.

Expected Value of a Discrete Random Variable확률밀도함수 \(P(X = x_i) = p_i\)를 갖는 이산확률변수의 기대값(Expected Value 또는 Expectation)은 \(\displaystyle{\mathrm{E}(\mathbf{X})} = \sum_{i}{P_i x_i}\)이며, \(\mathrm{E}(\mathbf{X})\)는 확률변수로 취해지는 평균값을 의미한다. 또한 확률변수의 평균이라고도 알려져 있다.Expectation of a Continuous Random Variable확률밀도함수 \(f(x)\)를 갖는 연속 확률 변수의 기대값은 \(\displaystyle{\mathrm{E}(\mathbf{X}) = \int_{\mathrm{state \..

\(A_1, ..., A_n\)이 샘플 공간의 분할이면, 사건 \(B\)의 조건 하에 사건 \(A_i\)의 Posterior Probability는 확률 \(P(A_i)\)와 \(P(B \mid A_i)\)를 이용하여 다음과 같이 구할 수 있다. \(\displaystyle{ P(A_i \mid B) = \frac{P(A_i)P(B \mid A_i)}{\sum_{j=1}^{n}{P(A_j)P(B \mid A_j)}} }\) 이를 Bayes' Theorem이라고 한다. Bayes' Theorem은 확률이론에 있어 매우 중요한 결론이다. 이는 새로운 정보가 기존의 확률 정보의 업데이트 또는 개정에 어떻게 유용하게 사용될 수 있는가에 대한 방법을 제시해 주기 때문이다. 어떤 경우에 있어 Prior Probab..

A1, ..., An을 샘플 공간 S의 분할이라고 하고 각 Ai를 상호 배타적이라고 하면, \(S = A_1 \cup ... \cup A_n\) 라고 할 수 있다. n개의 이벤트에 대한 확률 P(A1), ... ,P(An)이 알려져 있으며 또한 조건부 확률 \(P(B|A_i)\) 도 알려져 있다고 하자. P(B)를 계산하기 위해 P(Ai)와 P(B|Ai)를 이용한다. 사건 \(A_i \cap B\)가 상호 배타적이라면 다음이 성립된다: \(P(B) = \displaystyle{\sum_{j=1}^{n}{P(A_j)P(B|A_j)}}\) 이 결과를 "전체 확률의 법칙(Law of Total Probability)"라고 한다. 다시 한 번 정리하면: 만약 \(A_1\), ..., \(A_n\)을 샘플 공간의..