Stationary Distribution
Markov property 를 만족한 상태에서 Markov 연쇄를 반복하다 보면 현재 상태의 확률이 직전 상태의 확률과 같아지면서 수렴하게 되는데, 이렇게 평형 상태에 도달한 확률 분포를 정적분포 (Stationary Distribution) 라고 합니다.
1 min read
Markov property 를 만족한 상태에서 Markov 연쇄를 반복하다 보면 현재 상태의 확률이 직전 상태의 확률과 같아지면서 수렴하게 되는데, 이렇게 평형 상태에 도달한 확률 분포를 정적분포 (Stationary Distribution) 라고 합니다.
Markov Chain 의 stationary distribution 에 도달하기까지 어느정도 시간이 걸리기 때문이다. 연속적인 샘플은 각기 독립적이지 않고 어느정도의 correlation 을 지니기 때문에, n 번째의 간격을 둔다.
The whole MCMC approach is based on the ability to build a Markov Chain whose stationary distribution is the one we want to sample from.
Gibbs Sampling Gibbs sampling 은 특정 multivariate 확률 분포에서 approximated 된 일련의 관찰값 (observations) 들을 획득하기 위한 MCMC 알고리즘으로, 직접적인 샘플링이 어려울 때 사용한다.
MCMC Approximation MCMC(Markov Chains Monte Carlo) algorithms 은 주어진 분포에 대한 sampling 또는 분포의 parameter estimation 에 사용되는 알고리즘이다. 2.
Markov Chain Markov chain 은 일련의 이벤트를 통해 state 간의 전이 확률을 나타낸 확률적 모델 (stochastic model) 이다. Markov Chain 은 transition Matrix 을 이용해 표현된다.
Markov Property n+1 회의 상태 (state) 는 오직 n 회에서의 상태, 혹은 그 이전 일정 기간의 상태에만 영향을 받는 것 P\left(q {i}\mid q {1},\ldots,q {i-1}\right)=P\left(q {i}\mid q {i-1}\right) Related References.
Marginal Distribution 어떤 변수들의 집합에 대한 확률 분포에서, 부분 집합에 대한 확률 분포를 marginal probability distribution 이라고 한다. 2.
Joint Distribution 많은 변수에 대한 확률 분포를 joint probability distribution 이라고 한다.
Probability Distribution Discrete 확률 분포 we use discrete probability distributions to model categorical variables.
Categorical Distribution Related References.
Metropolis-Hasting Metropolis-Hasting 알고리즘은 pdf P(x) 에 해당하는 어떤 확률 분포 (a.k.a. a target distribution) 의 샘플링을 가능하게 해준다.
T-distribution t- 분포는 Student’s t- 분포라고 불리며, 모집단의 평균에서 표본 평균 간 거리의 표준화된 (standardized) 거리를 표현하기 위해 사용하는 분포다.