Zzong's Notes

entropy

1 min read

Entropy

entropy 란 불확실성 (uncertainty) 에 대한 척도이며, 다음과 같이 계산된다.

위 식에서 는 category 의 갯수이고, 는 사건의 확률질량함수 (Probability Mass Function) 이다.

예시

가방 안에 빨간공만 들어있다고 하자. 이 경우, 불확실성은 없다. 왜냐하면 어떤공을 꺼내도 빨간 공이기 때문이다. 따라서 이 경우 entropy 는 이다.

특징

entropy 는 예측하기 쉬운 일에서보다, 예측하기 힘든일에서 더 높다.

예 2) 가방 안에 빨간공과 녹색공이 20:80 으로 들어있는 경우

예 3) 빨간공과 녹색공 비율이 99:1 인 경우

Related

References

링크된 언급

6
Algorithmic Effects on the Diversity of Consumption on Spotify

...{j}\right)\right\} 을 이용하여, u i 의 T 에서 musical diversity {GS}\left(u {i}\right) 를 측정할 수 있음 B) Gini index 나 entropy 와 비교 이 두 방식은 사용자들이 서로 다른 아이템들을 어느 정도 소비했는지는 확인할 수 있어도, 아이템들 간 유사도는 고려하지 않음 예를 들어, 서로 다른 두 비틀즈 곡을 들은 어떤 한 ...

CBOW

...+\cdots+v {c+m}}{2m}\in\mathbb{R}^{n} CBOW 의 목적 함수 H 는 이전에 서술한 것과 같이 target word 에 대한 확률을 최대로 만드는 것이다. 즉, entropy 함수를 통해 다음과 같이 서술될 수 있다. \displaystyle H(\hat{y},y)= \sum {j=1}^{|V|}y {j}\log\left(\hat{y} {j}\right)= y ...

cross-entropy

Cross entropy 우리가 예측 모형을 build 하는 이유는 불확실성을 제어하고자 하는 것이다. 이때, 예측 모형은 실제 분포인 q 를 모르고, 모델링을 하여 q 분포를 예측하고자 하는 것이다. 예측 모델링...

EM algorithm

...\boldsymbol{\theta},\left\{q {n}\right\}\mid\mathcal{D}\right)\end{aligned} 여기서 \mathbb{H}(q) 는 분포 q 에 대한 entropy 이고, \mathcal{E}\left(\boldsymbol{\theta},\left\{q {n}\right\}\mid\mathcal{D}\right) 는 Evidence Lower Boun...

Interview Questions

...tors SVD The norm of a vector Independent random variables Expectation and variance central limit theorem entropy, what it means intuitively, formula KL Divergence, other divergences Kolmogorov complexity Jacobian and H...

KL-Divergence

...log\left(p\left(y {c}\right)\right) \log\left(q\left(y {c}\right)\right)\right]=H {p}(q) H(q) 보다시피, cross entropy 값에 entropy 값을 뺀 것이 KL Divergence 다. Cross entropy 의 값은 entropy 값보다 항상 크므로, KL Divergence 값은 0 보다 항상 크다. A...