1 min read
MCMC(Markov Chains Monte Carlo) algorithms 은 주어진 분포에 대한 sampling 또는 분포의 parameter estimation 에 사용되는 알고리즘이다.
graph/graphical model 에서 사용되는 sampling 방식으로, 어떤 K 개의 노드 (variable) 이 존재할 때, 이에 대한 joint distribution p\left(x {1}, \ldots, x {K}\right) 을 sampling 으로 구하는 방식을 의미한다.
몬테카를로 방법이란 랜덤 표본을 뽑아 함수의 값을 확률적으로 계산하는 알고리즘 계산하려는 값이 닫힌 형식 (closed form) 으로 표현되지 않거나 복잡한 경우에 그 값을 근사적으로 계산하려고 할 때 쓰임 예시 특정 확률 분포를 따르는 f(x) 함수의 expectation 은 monte carlo...
Rejection sampling 은 어떤 확률 밀도 함수 p(x) 에 대해, 다음과 같은 조건에서 효율적으로 sampling 을 수행할 수 있는 방법이다. 주어진 확률 분포 p(x) 의 확률 밀도 함수 (pdf) 를 알고 있어야 한다.
Metropolis-Hasting 알고리즘은 pdf P(x) 에 해당하는 어떤 확률 분포 (a.k.a. a target distribution) 의 샘플링을 가능하게 해준다.
한줄 요약 Importance sampling 은 뽑기 어려운 분포의 기댓값을, 뽑기 쉬운 분포에서 뽑아서 계산하는 방법이다. 어떤 확률 분포 p 에서 f(x) 의 평균이 궁금한데 p 에서 sample 을 만들기 어려운 경우가 있다.
SMOTE 는 낮은 비율 클래스 데이터들의 최근접 이웃을 이용하여 새로운 데이터를 생성합니다. 완전히 똑같은 특성을 가진 데이터를 복사하는 것은 의미가 없기 때문에, 아래 그림과 같이 근접해 있는 데이터들과 일정한 거리를 떨어진 위치에 데이터를 생성하는 것입니다.
Gibbs sampling 은 특정 multivariate 확률 분포에서 approximated 된 일련의 관찰값 (observations) 들을 획득하기 위한 MCMC 알고리즘으로, 직접적인 샘플링이 어려울 때 사용한다.
Inverse Transform Sampling Inverse transform sampling 는 어떤 확률 분포에서 해당 분포의 inverse cumulative distribution (또는 quantile function) F^{-1}(x) 를 활용해서 임의의 값을 생성하는 방법을 의미한다.
\displaystyle\operatorname{Laplace}(x;\mu,\gamma)=\frac{1}{2\gamma}\exp\left(-\frac{|x-\mu|}{\gamma}\right).