1 min read
Y 는 random variable Y 의 target space 를 의미
we sum out (or integrate out) the set of states y of the random variable Y
Performing high-dimensional sums or integrals is generally computationally hard, in the sense that there is no known polynomial-time algorithm to calculate them exactly.
EM Algorithm 으로 풀 수 있는 문제들 mixture gaussian problem, Probabilistic latent Semantic Indexing, K-means 정의 EM algorithm is an iterative method and a bound optimization algorithm to find (local) MLE or MAP estimates of param...
어떤 변수들의 집합에 대한 확률 분포에서, 부분 집합에 대한 확률 분포를 marginal probability distribution 이라고 한다. 예시
(a) 는 sum rule, (b) 는 product rule 을 활용함 사후 예측 분포의 다른 표현들
sum rule, joint probability, conditional probability, Bayes theorem
p(\boldsymbol{x},\boldsymbol{y})=p(\boldsymbol{y}\mid\boldsymbol{x})p(\boldsymbol{x})=p(\boldsymbol{x}\mid\boldsymbol{y})p(\boldsymbol{y}) p(\boldsymbol{x}): marginal...
어떤 변수들의 집합에 대한 확률 분포에서, 부분 집합에 대한 확률 분포를 marginal probability distribution 이라고 한다.
사후 예측 분포 (posterior predictive distribution) 는 관측된 데이터를 조건으로 했을 때 관측될 가능성이 있지만 관측되지 않은 데이터에 대한 분포를 의미한다 p\left(x {new}\mid\mathbf{x}\right)=\int {\Theta}p\left(x...
chain rule sum rule: p(X)=\sum {Y}p(X,Y) product rule: p(X,Y)=p(Y\mid X)p(X) relation with Bayes theorem \displaystyle p(Y\mid X)=\frac{p(X\mid Y)p(Y)}{p(X)} Evidence 는 다음과 같이...
정의 표준 오차를 2 배로 줄이려면, 표본 크기를 4 배 증가시켜야 한다.
EM Algorithm 으로 풀 수 있는 문제들 mixture gaussian problem, Probabilistic latent Semantic Indexing, K-means 정의 EM algorithm is an iterative method and a bound optimization algorithm...
Related joint entropy, independence (probability), Bayes theorem Statistic Consider an indexed collection of random variables X {1},\ldots,X {n}.
Related KL-Divergence Jensen–Shannon divergence 정의 f-divergence 종류 중 하나로, 두 확률 분포 P,Q 의 거리를 계산하기 위해 사용함 H^{2}(P,Q)=\frac{1}{2}\int(\sqrt{dP}-\sqrt{dQ})^{2} KL-Divergence 의 관계...
Tags Maximum Likelihood Estimation, Laplace approximation 은 approximate posterior inference 를 위한 방식이다.
normalizing constant (정규화 상수) 는 어느 확률 분포를 총 합이 1 인 pdf 로 만들기 위해 사용하는 상수를 의미한다. 예시 어느 가우시안 함수 p(x)=e^{-x^{2}/2},x\in(-\infty,\infty) 를 고려해보자.