Bernoulli Distribution

$X \sim B (p)$ ( $\sim$ 은 랜덤 변수 $X$ 가 베르누이 분포 $B (p)$ 를 따른다는 의미)

베르누이 분포는 어떤 trial 이 성공 또는 실패할 확률을 정의한다.

특정 확률 $p$ 가 주어졌을 때, $X$ 가 $x$ 일 확률은?

f (X = x ∣ p) = f (x ∣ p)

베르누이의 경우

p^{x} (1 - p)^{1 - x} I_{x \in 0, 1} (x)

여기서 $I_{x \in 0, 1} (x)$ 는 Indicator function 으로 가장 먼저 계산함

B) Expected Value & Variance

Expected value

E [X] = x \sum x P (X = x) = (1) p + (0) (1 - p) = p

Variance

V a r (x) = p (1 - p)

observations $D = {x_{1}, \dots, x_{N}}$ 이 $p (x ∣ μ)$ 에서 독립적으로 생성된다고 했을 경우를 생각해보자 ( $μ = p$ ). 이때 likelihood 는 다음과 같이 계산된다.

p (D ∣ μ) = n = 1 \prod N p (x_{n} ∣ μ) = n = 1 \prod N μ^{x_{n}} (1 - μ)^{1 - x_{n}}

그리고 log likelihood function 은 다음과 같다.

ln p (D ∣ μ) = n = 1 \sum N ln p (x_{n} ∣ μ) = n = 1 \sum N {x_{n} ln μ + (1 - x_{n}) ln (1 - μ)} s

만약 위 log 함수를 $μ$ 에 대해 미분하고 $0$ 인 값을 찾는다면, 가장 최대가 되는 $μ$ 는 다음과 같다.

μ_{ML} = \frac{1}{N} n = 1 \sum N x_{n}