Zzong's Notes

Bayesian parameter estimation via variational methods

1 min read

함께 보면 좋은 글

variational inference

변분 추론 (Variational Inference, VI) 은 intractable 한 posterior 분포 p(z\mid x) 를 다루기 쉬운 분포 q(z) 로 근사하는 방법론을 의미한다.

Stochastic Variational Inference

Evidence Lower Bound(\equiv\mathbb{E} {q {\phi}(\mathbf{z})}\left[\logp {\theta}(\mathbf{x},\mathbf{z})-\log q {\phi}(\mathbf{z})\right]) 에 대한 parameter \theta,\phi 를...

approximate posterior inference

posterior 를 approximate 하게 추정하는 방법이다. 정확한 값을 계산하지 않고 근사하는 이유는 posterior 를 정확하게 계산하려면 많은 비용이 들기 때문에 그렇다. Approximations 아래에서는 다양한 근사 방법에 대해서 소개한다.

Bayesian inference

Bayesian inference fully calculates the posterior probability distribution.

Expected A Posteriori

Expected A Posteriori(EAP) 란 참고: Toward data science EAP 는 Bayesian inference 를 통해 구한 사후분포 f(\theta\mid D) 의 expected value, 즉 기대값을 계산하는 방법입니다.

Assumed Density Filtering

exact posterior p(\mathbf{y} \mid \mathbf{x}) 를 얻기 위해, 이를 근사한 분포 q(\mathbf{y}) 를 찾는 방식을 의미한다.

Evidence Lower Bound

variational inference 에서 자주 사용되는 개념으로, 계산하기 원하는 true-distribution p(x) 의 Log-likelihood 에 대한 Lower bound.

Maximum Likelihood Estimation

MLE 모수적인 데이터 밀도 추정 방법으로써, 파라미터 \theta=\left(\theta {1},\cdots,\theta {m}\right) 으로 구성된 어떤 확률밀도함수 P(x\mid\theta) 에서 관측된 표본 데이터 집합을 x=\left(x {1},x {2},\cdots,x {n}\right) 이라 할...

mixture gaussian problem

데이터 \left(x {1},x {2},\ldots,x {n}\right) 가 주어졌을 때, 주어진 데이터들이 단일 가우시안이 아닌 여러개의 Gaussian distribution (Gaussian Mixture Model) 에서 온것이라고 가정하자.