1 min read
KL-Divergence 의 symmetric 및 normalized 버전
KL-Divergence Jensen–Shannon divergence
한줄 요약 KL-Divergence(Kullback-Leibler Divergence)는 두 확률분포가 얼마나 다른지를 재는 값이다. 직관으로는 “진짜 분포가 P인데 내가 Q라고 믿고 행동하면, 평균적으로 얼마나 손해를 보나” 를 잰다.
Related KL-Divergence Jensen–Shannon divergence 정의 f-divergence 종류 중 하나로, 두 확률 분포 P,Q 의 거리를 계산하기 위해 사용함 H^{2}(P,Q)=\frac{1}{2}\int(\sqrt{dP}-\sqrt{dQ})^{2} KL-Divergence 의 관계...
Gini index 와 비슷하게, 비균등 분포를 측정할 때 사용할 수 있는 지표 \displaystyle H=-\sum {i=1}^{n}p(i)\log p(i) The entropy is 0 when a single item is always chosen or recommended, and \log n when...
많은 변수에 대한 확률 분포를 joint probability distribution 이라고 한다.
X 가 주어졌을 때 Y 의 conditional entropy 는 다음과 같이 계산된다 \displaystyle\mathrm{H}(Y\mid X)=-\sum {x\in\mathcal{X},y\in\mathcal{Y}}p(x,y)\log\frac{p(x,y)}{p(x)}...
Joint entropy 는 두 random variable 을 함께 관찰했을 때의 불확실성을 측정한다. X, Y 의 joint distribution 이 p(x, y) 라면 joint entropy 는 다음과 같다.
entropy 란 불확실성 (uncertainty) 에 대한 척도이며, 다음과 같이 계산된다.
어떤 변수들의 집합에 대한 확률 분포에서, 부분 집합에 대한 확률 분포를 marginal probability distribution 이라고 한다.
t- 분포는 Student’s t- 분포라고 불리며, 모집단의 평균에서 표본 평균 간 거리의 표준화된 (standardized) 거리를 표현하기 위해 사용하는 분포다.
Dirichlet(디리클레) 분포는 statistic/Beta distribution 의 확장판 Beta 분포의 경우 X\sim\operatorname{Beta}(\alpha,\beta) 에서 sample 을 뽑을 시 0 과 1 사이의 값이 나옴 Dirichlet 분포의 경우 vector 를 sampling...