KL-Divergence 의 symmetric 및 normalized 버전
KL-Divergence Jensen–Shannon divergence
KL-Divergence(Kullback-Leibler Divergence)는 두 확률분포가 얼마나 다른지를 재는 값이다. 직관으로는 "진짜 분포가 P인데 내가 Q라고 믿고 행동하면, 평균적으로 얼마나 손해를 보나" 를 잰다. 정보이론 관점에서 그 손해는 "낭비되는 비트 수"이고, 통계 관점에서는 "잘못된 모델이...
Related KL-Divergence Jensen–Shannon divergence 정의 f-divergence 종류 중 하나로, 두 확률 분포 P,Q 의 거리를 계산하기 위해 사용함 H^{2}(P,Q)=\frac{1}{2}\int(\sqrt{dP}-\sqrt{dQ})^{2} KL-Divergence 의 관계 Hellinger 거리가 d_{H}(p,q) 라고 한다면,...
Gini index 와 비슷하게, 비균등 분포를 측정할 때 사용할 수 있는 지표
X 가 주어졌을 때 Y 의 conditional entropy 는 다음과 같이 계산된다
Joint entropy 는 두 random variable 을 함께 관찰했을 때의 불확실성을 측정한다. X, Y 의 joint distribution 이 p(x, y) 라면 joint entropy 는 다음과 같다.
어떤 변수들의 집합에 대한 확률 분포에서, 부분 집합에 대한 확률 분포를 marginal probability distribution 이라고 한다.
Dirichlet(디리클레) 분포는 statistic/Beta distribution 의 확장판
Inverse transform sampling 는 어떤 확률 분포에서 해당 분포의 inverse cumulative distribution (또는 quantile function) F^{-1}(x) 를 활용해서 임의의 값을 생성하는 방법을 의미한다.
entropy 란 불확실성 (uncertainty) 에 대한 척도이며, 다음과 같이 계산된다.
많은 변수에 대한 확률 분포를 joint probability distribution 이라고 한다.