Conditional Entropy
가 주어졌을 때 의 conditional entropy 는 다음과 같이 계산된다
는 와 의 support sets
- Relation with joint entropy and marginal entropy
2. Related
Information theory, mutual information, cross-entropy
1 min read
X 가 주어졌을 때 Y 의 conditional entropy 는 다음과 같이 계산된다
H(Y∣X)=−x∈X,y∈Y∑p(x,y)logp(x)p(x,y)XandY 는 X 와 Y 의 support sets
Information theory, mutual information, cross-entropy
B) Conditional Entropy 와의 관계 Joint entropy 는 conditional entropy 와 다음 관계를 가진다. H(X,Y) = H(X) + H(Y|X) 즉, X 의 불확실성과, X 를 알고...
...n.featureselectᵢoₙ.mutualᵢₙfoclassᵢf — scikit-learn 1.2.2 documentation F) Relationship Relation to conditional entropy and joint entropy
Joint Entropy Joint entropy 는 두 random variable 을 함께 관찰했을 때의 불확실성을 측정한다. X, Y 의 joint distribution 이 p(x, y) 라면 joint entropy 는 다음과 같다.
Mutual Information mutual information 은 X 와 Y 간 정보를 얼마나 공유하는지를 측정한다: 즉, 한쪽 변수를 앎으로써 다른 변수에 대한 불확실성을 얼만큼 줄일 수 있는지의 척도가 된다.
Entropy entropy 란 불확실성 (uncertainty) 에 대한 척도이며, 다음과 같이 계산된다.
Cross-entropy 우리가 예측 모형을 build 하는 이유는 불확실성을 제어하고자 하는 것이다. 이때, 예측 모형은 실제 분포인 q 를 모르고, 모델링을 하여 q 분포를 예측하고자 하는 것이다. 예측 모델링을 통해 구한 분포를 p 라고 해보자.
Conditional Probability the conditional probability that \mathrm{y}=y given \mathrm{x}=x as P(\mathrm{y}=y\mid\mathrm{x}=x) 반드시 P(\mathrm{x}=x)>0 인 상황에서만 성립이 된다.
Shannon Entropy Gini index 와 비슷하게, 비균등 분포를 측정할 때 사용할 수 있는 지표 \displaystyle H=-\sum {i=1}^{n}p(i)\log p(i) The entropy is 0 when a single item is always chosen or recommended,...
Law of Conditional Probability Tags conditional probability 정의 \displaystyle p(A\mid B)=\frac{p(A,B)}{p(B)} Related References.
Joint Distribution 많은 변수에 대한 확률 분포를 joint probability distribution 이라고 한다.
Marginal Distribution 어떤 변수들의 집합에 대한 확률 분포에서, 부분 집합에 대한 확률 분포를 marginal probability distribution 이라고 한다. 2.
Independence (probability) Related Marginal independence Conditional independence 정의 That is, knowledge of Y’s value doesn’t affect your belief in the value of X, given a...