Zzong's Notes

Bayesian parameter estimation via variational methods

최초 작성 마지막 수정 읽는 데 1분

노트 편집 ↗

함께 보면 좋은 글

variational inference

변분 추론 (Variational Inference, VI) 은 intractable 한 posterior 분포 p(z\mid x) 를 다루기 쉬운 분포 q(z) 로 근사하는 방법론을 의미한다. 이때 x 는 관측 가능한 데이터, z 는 latent variable 을 의미한다.

Stochastic Variational Inference

Evidence Lower Bound(\equiv\mathbb{E}_{q_{\phi}(\mathbf{z})}\left[\logp_{\theta}(\mathbf{x},\mathbf{z})-\log q_{\phi}(\mathbf{z})\right]) 에 대한 parameter \theta,\phi 를 stochastic gradient descent 를 통해 최적화 하는 방식을 stochastic varitional...

approximate posterior inference

posterior 를 approximate 하게 추정하는 방법이다. 정확한 값을 계산하지 않고 근사하는 이유는 posterior 를 정확하게 계산하려면 많은 비용이 들기 때문에 그렇다.

Bayesian inference

Bayesian inference fully calculates the posterior probability distribution. Hence the output is not a single value but a probability density function(PDF) (when θ is a...

Maximum Likelihood Estimation

모수적인 데이터 밀도 추정 방법으로써, 파라미터 \theta=\left(\theta_{1},\cdots,\theta_{m}\right) 으로 구성된 어떤 확률밀도함수 P(x\mid\theta) 에서 관측된 표본 데이터 집합을 x=\left(x_{1},x_{2},\cdots,x_{n}\right) 이라 할 때, 이 표본들에서 파라미터 \theta=\left(\theta_{1},\cdots,\theta_{m}\right) 를 추정하는 방법이다.

Assumed Density Filtering

exact posterior p(\mathbf{y} \mid \mathbf{x}) 를 얻기 위해, 이를 근사한 분포 q(\mathbf{y}) 를 찾는 방식을 의미한다. 여기서 \mathbf{x} 는 observation 이고 \mathbf{y} 는 latent variables 이다.

mixture gaussian problem

데이터 \left(x_{1},x_{2},\ldots,x_{n}\right) 가 주어졌을 때, 주어진 데이터들이 단일 가우시안이 아닌 여러개의 Gaussian distribution (Gaussian Mixture Model) 에서 온것이라고 가정하자.

Evidence Lower Bound

variational inference 에서 자주 사용되는 개념으로, 계산하기 원하는 true-distribution p(x) 의 Log-likelihood 에 대한 Lower bound.