1 min read
chain rule (probability), law of conditional probability
law of conditional probability
the conditional probability that \mathrm{y}=y given \mathrm{x}=x as P(\mathrm{y}=y\mid\mathrm{x}=x) 반드시 P(\mathrm{x}=x)>0 인 상황에서만 성립이 된다.
Let there be a generative model m describing measured data y using model parameters θ and a prior distribution on θ .
정리 (다른 이름으로는 marginalization) 이산형 경우 P(A)=\sum {n}P(A,B)=\sum {n}P\left(A\mid B {n}\right)P\left(B {n}\right) 연속형 경우 \displaystyle p(x)=\int {y}p(x,y)dy=\int {y}p(x\mid...
chain rule sum rule: p(X)=\sum {Y}p(X,Y) product rule: p(X,Y)=p(Y\mid X)p(X) relation with Bayes theorem \displaystyle p(Y\mid X)=\frac{p(X\mid Y)p(Y)}{p(X)} Evidence 는 다음과 같이...
Related Marginal independence Conditional independence 정의 That is, knowledge of Y’s value doesn’t affect your belief in the value of X, given a value of Z.
Related joint entropy, independence (probability), Bayes theorem Statistic Consider an indexed collection of random variables X {1},\ldots,X {n}.
X 가 주어졌을 때 Y 의 conditional entropy 는 다음과 같이 계산된다 \displaystyle\mathrm{H}(Y\mid X)=-\sum {x\in\mathcal{X},y\in\mathcal{Y}}p(x,y)\log\frac{p(x,y)}{p(x)}...
Discrete 확률 분포 we use discrete probability distributions to model categorical variables. i.e., variables that take a finite set of unordered values.
많은 변수에 대한 확률 분포를 joint probability distribution 이라고 한다.
상대도수는 사건이 무한히 반복 가능할 때, 내가 관심 있는 사건의 상대적인 빈도를 뜻한다.