1 min read
...left(y {c}\right)\log\left(q\left(y {c}\right)\right) 위 식에서 C 는 category 의 갯수이고, q 는 사건의 확률질량함수 (Probability Mass Function) 이다. 예시 가방 안에 빨간공만 들어있다고 하자. 이 경우, 불확실성은 없다. 왜냐하면 어떤공을 꺼내도 빨간 공이기 때문이다. 따라서 이 경우 entropy 는 0 이다....
...usive) 으로 발생한다. 하나의 실행에서, k 의 outcome 들이 나올 각 확률들: p {1}, \ldots, p {k} 은 \sum {i=1}^{k} p {i}=1 을 만족한다. B) PMF of Multinomial Distribution 랜덤 변수 X i 는 outcome i 에 대한 발생 횟수라고 가정하자. 이때, multinomial 분포에 대한 PMF 는 다음과 같다. P...