Zzong's Notes

inverse tranform sampling

1 min read

Inverse Transform Sampling

Inverse transform sampling 는 어떤 확률 분포에서 해당 분포의 inverse cumulative distribution (또는 quantile function)  를 활용해서 임의의 값을 생성하는 방법을 의미한다.

  • 랜덤 변수 의 누적 분포:

알고리즘

연속 분포

Steps

  • 에서 값을 뽑는다.
  • 를 찾는다.
  • 는 CDF 에 의한 분포를 따르기 때문에, 결과적으로 원하는 임의의 값이 된다.

이 방법은 분포에 따라 실용성이 나뉘는데, exponential distribution 의 경우 쉽지만, Gaussian distribution 의 경우 inverse 함수를 구하기 어렵다.

References

링크된 언급

1
quantile function

Use-case inverse tranform sampling 예시 exponential distribution 의 CDF 는 다음과 같다.

함께 보면 좋은 글

quantile function

quantile function 은 CDF 의 역함수를 의미하며, 어떤 분포의 함수 F 에 대한 quantile function Q 는 다음을 만족하는 x 를 반환한다 F {X}(x):=\operatorname{Pr}(X\leq x)=p 즉, CDF 에서는 랜덤 변수 X 가 x 보다 작을 확률을 의미했다면,...

Cumulative Distribution Function

CDF A cumulative distribution function (cdf) of a multivariate real-valued random variable X with states \boldsymbol{x}\in\mathbb{R}^{D} is given by F...

Gaussian distribution

Single Variable \displaystyle\mathcal{N}\left(x\mid\mu,\sigma^{2}\right)=\frac{1}{\left(2\pi\sigma^{2}\right)^{1/2}}\exp\left\{-\frac{1}{2\sigma^{2}}(x-\mu)^{2}\right\} 종종...

Rejection sampling

Rejection sampling 은 어떤 확률 밀도 함수 p(x) 에 대해, 다음과 같은 조건에서 효율적으로 sampling 을 수행할 수 있는 방법이다. 주어진 확률 분포 p(x) 의 확률 밀도 함수 (pdf) 를 알고 있어야 한다.

Importance Sampling

한줄 요약 Importance sampling 은 뽑기 어려운 분포의 기댓값을, 뽑기 쉬운 분포에서 뽑아서 계산하는 방법이다. 어떤 확률 분포 p 에서 f(x) 의 평균이 궁금한데 p 에서 sample 을 만들기 어려운 경우가 있다.

exponential distribution

Tags Laplace distribution PDF P(X)=\lambda e^{-\lambda X} Cumulative Distribution Function F(x;\lambda)=\begin{cases}1-e^{-\lambda x}&x\geq0\\0&x<0\end{cases} .

sampling distribution

표본 분포란, 임의의 샘플링 결과들에 의해 구해진 확률 분포를 의미한다.

Gibbs Sampling

Gibbs sampling 은 특정 multivariate 확률 분포에서 approximated 된 일련의 관찰값 (observations) 들을 획득하기 위한 MCMC 알고리즘으로, 직접적인 샘플링이 어려울 때 사용한다.

Probability Distribution

Discrete 확률 분포 we use discrete probability distributions to model categorical variables. i.e., variables that take a finite set of unordered values.

marginal distribution

어떤 변수들의 집합에 대한 확률 분포에서, 부분 집합에 대한 확률 분포를 marginal probability distribution 이라고 한다.