가 주어졌을 때 의 conditional entropy 는 다음과 같이 계산된다
는 와 의 support sets
- Relation with joint entropy and marginal entropy
Related
Information theory, mutual information, cross-entropy
1 min read
X 가 주어졌을 때 Y 의 conditional entropy 는 다음과 같이 계산된다
H(Y∣X)=−x∈X,y∈Y∑p(x,y)logp(x)p(x,y)XandY 는 X 와 Y 의 support sets
Information theory, mutual information, cross-entropy
Conditional Entropy 와의 관계 Joint entropy 는 conditional entropy 와 다음 관계를 가진다. H(X,Y) = H(X) + H(Y|X) 즉, X 의 불확실성과, X 를 알고...
PMI가 특정 pair 하나의 연관성을 본다면, MI는 변수 전체 수준에서 X와 Y가 얼마나 의존적인지를 본다. Entropy로 보는 MI MI는 conditional entropy와 joint entropy로도 표현할 수 있다.
Joint entropy 는 두 random variable 을 함께 관찰했을 때의 불확실성을 측정한다. X, Y 의 joint distribution 이 p(x, y) 라면 joint entropy 는 다음과 같다.
Mutual Information(MI)은 두 random variable이 얼마나 많은 정보를 공유하는지 를 측정한다. 조금 더 직관적으로 말하면, X를 알게 되었을 때 Y에 대한 불확실성이 얼마나 줄어드는지를 보는 값이다.
entropy 란 불확실성 (uncertainty) 에 대한 척도이며, 다음과 같이 계산된다.
Gini index 와 비슷하게, 비균등 분포를 측정할 때 사용할 수 있는 지표 \displaystyle H=-\sum {i=1}^{n}p(i)\log p(i) The entropy is 0 when a single item is always chosen or recommended, and \log n when...
the conditional probability that \mathrm{y}=y given \mathrm{x}=x as P(\mathrm{y}=y\mid\mathrm{x}=x) 반드시 P(\mathrm{x}=x)>0 인 상황에서만 성립이 된다.
우리가 예측 모형을 build 하는 이유는 불확실성을 제어하고자 하는 것이다. 이때, 예측 모형은 실제 분포인 q 를 모르고, 모델링을 하여 q 분포를 예측하고자 하는 것이다. 예측 모델링을 통해 구한 분포를 p 라고 해보자.
한줄 요약 KL-Divergence(Kullback-Leibler Divergence)는 두 확률분포가 얼마나 다른지를 재는 값이다. 직관으로는 “진짜 분포가 P인데 내가 Q라고 믿고 행동하면, 평균적으로 얼마나 손해를 보나” 를 잰다.
Tags conditional probability 정의 \displaystyle p(A\mid B)=\frac{p(A,B)}{p(B)}.
많은 변수에 대한 확률 분포를 joint probability distribution 이라고 한다.
어떤 변수들의 집합에 대한 확률 분포에서, 부분 집합에 대한 확률 분포를 marginal probability distribution 이라고 한다.