Jensen–Shannon Divergence
KL-Divergence 의 symmetric 및 normalized 버전
-
- 는 두 분포 의 KL-Divergence
1 min read
KL-Divergence 의 symmetric 및 normalized 버전
KL-Divergence Jensen–Shannon divergence
한줄 요약 KL-Divergence(Kullback-Leibler Divergence)는 두 확률분포가 얼마나 다른지를 재는 값이다. 직관으로는 “진짜 분포가 P인데 내가 Q라고 믿고 행동하면, 평균적으로 얼마나 손해를 보나” 를 잰다.
Hellinger Distance Related KL-Divergence Jensen–Shannon divergence 정의 f-divergence 종류 중 하나로, 두 확률 분포 P,Q 의 거리를 계산하기 위해 사용함 H^{2}(P,Q)=\frac{1}{2}\int(\sqrt{dP}-\sqrt{dQ})^{2}...
Shannon Entropy Gini index 와 비슷하게, 비균등 분포를 측정할 때 사용할 수 있는 지표 \displaystyle H=-\sum {i=1}^{n}p(i)\log p(i) The entropy is 0 when a single item is always chosen or recommended,...
Mutual Information mutual information 은 X 와 Y 간 정보를 얼마나 공유하는지를 측정한다: 즉, 한쪽 변수를 앎으로써 다른 변수에 대한 불확실성을 얼만큼 줄일 수 있는지의 척도가 된다.
Joint Entropy Joint entropy 는 두 random variable 을 함께 관찰했을 때의 불확실성을 측정한다. X, Y 의 joint distribution 이 p(x, y) 라면 joint entropy 는 다음과 같다.
Joint Distribution 많은 변수에 대한 확률 분포를 joint probability distribution 이라고 한다.
Entropy entropy 란 불확실성 (uncertainty) 에 대한 척도이며, 다음과 같이 계산된다.
Marginal Distribution 어떤 변수들의 집합에 대한 확률 분포에서, 부분 집합에 대한 확률 분포를 marginal probability distribution 이라고 한다. 2.
Dirichlet Distribution Dirichlet(디리클레) 분포는 Beta distribution 의 확장판 Beta 분포의 경우 X\sim\operatorname{Beta}(\alpha,\beta) 에서 sample 을 뽑을 시 0 과 1 사이의 값이 나옴 Dirichlet 분포의 경우 vector...
T-distribution t- 분포는 Student’s t- 분포라고 불리며, 모집단의 평균에서 표본 평균 간 거리의 표준화된 (standardized) 거리를 표현하기 위해 사용하는 분포다.