No U-Turn Sampler
B) Related
C) References
Markov Chains: Why Walk When You Can Flow? | Elements of Evolutionary Anthropology
1 min read
Markov Chains: Why Walk When You Can Flow? | Elements of Evolutionary Anthropology
MCMC Approximation MCMC(Markov Chains Monte Carlo) algorithms 은 주어진 분포에 대한 sampling 또는 분포의 parameter estimation 에 사용되는 알고리즘이다. 2.
Ancestral Sampling graphical model 에서 사용되는 sampling 방식으로, 어떤 K 개의 노드 (variable) 이 존재할 때, 이에 대한 joint distribution p\left(x {1}, \ldots, x {K}\right) 을 sampling 으로 구하는 방식을 의미한다.
Monte Carlo Method 몬테카를로 방법이란 랜덤 표본을 뽑아 함수의 값을 확률적으로 계산하는 알고리즘 계산하려는 값이 닫힌 형식 (closed form) 으로 표현되지 않거나 복잡한 경우에 그 값을 근사적으로 계산하려고 할 때 쓰임 A.1) 예시 특정 확률 분포를 따르는 f(x) 함수의...
Rejection Sampling Rejection sampling 은 어떤 확률 밀도 함수 p(x) 에 대해, 다음과 같은 조건에서 효율적으로 sampling 을 수행할 수 있는 방법이다.
Importance Sampling Importance sampling 은 효율적으로 기댓값을 추정하기 위해 고안된 방법이다. Why We Need IS? Rejection sampling 는 rejection 이 많을 경우 계산 비용이 많이드는 단점이 있다.
Gibbs Sampling Gibbs sampling 은 특정 multivariate 확률 분포에서 approximated 된 일련의 관찰값 (observations) 들을 획득하기 위한 MCMC 알고리즘으로, 직접적인 샘플링이 어려울 때 사용한다.
Inverse Transform Sampling Inverse transform sampling 는 어떤 확률 분포에서 해당 분포의 inverse cumulative distribution (또는 quantile function) F^{-1}(x) 를 활용해서 임의의 값을 생성하는 방법을 의미한다.
Stationary Distribution Markov property 를 만족한 상태에서 Markov 연쇄를 반복하다 보면 현재 상태의 확률이 직전 상태의 확률과 같아지면서 수렴하게 되는데, 이렇게 평형 상태에 도달한 확률 분포를 정적분포 (Stationary Distribution) 라고 합니다.
Laplace Distribution \displaystyle\operatorname{Laplace}(x;\mu,\gamma)=\frac{1}{2\gamma}\exp\left(-\frac{|x-\mu|}{\gamma}\right) B) Related C) References.
Metropolis-Hasting Metropolis-Hasting 알고리즘은 pdf P(x) 에 해당하는 어떤 확률 분포 (a.k.a. a target distribution) 의 샘플링을 가능하게 해준다.