variational inference 와 동일한 아이디어를 채택한 방식이다. 즉, posterior density 인 를 라는 density 로 근사시키는데, 이때 factorize 되는 형태를 취하게 한다.
위 식에서 확인할 수 있듯이, 각 에 대해 density 는 factorize 한다.
결국 아래와 같은 objective function 을 만족하는 parameter 를 찾아야 한다.
variational inference 와 동일한 아이디어를 채택한 방식이다. 즉, posterior density 인 p(θ∣x) 를 g(θ∣ϕ) 라는 density 로 근사시키는데, 이때 factorize 되는 형태를 취하게 한다.
g(θ∣ϕ)=j=1∏Jgj(θj∣ϕj)위 식에서 확인할 수 있듯이, 각 θ=θ1,⋯,θJ 에 대해 density g 는 factorize 한다.
결국 아래와 같은 objective function 을 만족하는 parameter ϕ 를 찾아야 한다.
ϕ∗=argϕminKL(g(θ∣ϕ)∥p(θ∣x))이러한 가정은 mean field approximation 으로 알려져 있다. 이렇게 하면, 각 latent variable 에 대하여 update rule 계산을 독립적으로 수행할 수 있다. 수식 유도
Mean-field Form of Varitional Inference mean field approximation 참조 특성 장점 본디 posterior 를 estimation 하는 statistical inference 였던 문제를 optimization 문제로 바꿔준다. 이는 MCMC...
간단한 모델에서는 p\left(z\mid x;\theta\right) 에 대한 analytical solution 이 존재하여 q(z)=p\left(z\mid x;\theta\right) 을 구하는 것이 tractable 했다. 대신, x 가 주어졌을 때, latent variables 의 집합이 나머지 latent variables 에 대하여 독립임을 가정하면...
변분 추론 (Variational Inference, VI) 은 intractable 한 posterior 분포 p(z\mid x) 를 다루기 쉬운 분포 q(z) 로 근사하는 방법론을 의미한다. 이때 x 는 관측 가능한 데이터, z 는 latent variable 을 의미한다.
최적화 문제 (Optimization problems) 란 여러개의 선택가능한 후보 중에서 최적의 해 (Optimal value) 또는 최적의 해에 근접한 값을 찾는 문제를 일컫는다.
tight lowerbound LL(\boldsymbol{\theta}) ,
For a random variable x, if f(x) is convec (refer. convex function), then E[f(x)]>=f(E[x]).
Newton’s method 라고 불리기도 하며, 실수 함수의 approximate 한 해를 빠르게 찾는 방법이다. Newton-Raphson method 는 f(x) 의 해를 찾기 위해 다음을 무한히 반복한다
Newton-Raphson method 대신 사용하는 방식으로, 주어진 함수들에 대한 로컬 maxima 또는 minima 를 찾는 방법이다.
Global minimum 은 목적 함수 전체 영역에서 가장 작은 값을 가지는 지점이다.
f(x) is convex, iff f^{\prime\prime}(x)\geqslant0,\forall\mathrm{x}\in R f(x) is strictly convex, iff f^{\prime\prime}(x)>0,\forall\mathrm{x}\in R f(x) is concave, iff -f(x) is convex.
적절한 hyperparameter 를 선택하는 방법. VAE 에서 소개되었으며, 일반적으로 Grid Search 보다는 하위호환이지만, 한번의 training 으로도 나름 최적의 parameter 를 찾을 수 있는 장점이 있다.