Monte Carlo Method
몬테카를로 방법이란 랜덤 표본을 뽑아 함수의 값을 확률적으로 계산하는 알고리즘
계산하려는 값이 닫힌 형식 (closed form) 으로 표현되지 않거나 복잡한 경우에 그 값을 근사적으로 계산하려고 할 때 쓰임
A.1) 예시
특정 확률 분포를 따르는 함수의 expectation 은 monte carlo method(단순 mean 계산) 를 통해 다음과 같이 개 샘플로 근사할 수 있다.
1 min read
몬테카를로 방법이란 랜덤 표본을 뽑아 함수의 값을 확률적으로 계산하는 알고리즘
계산하려는 값이 닫힌 형식 (closed form) 으로 표현되지 않거나 복잡한 경우에 그 값을 근사적으로 계산하려고 할 때 쓰임
특정 확률 분포를 따르는 f(x) 함수의 expectation 은 monte carlo method(단순 mean 계산) 를 통해 다음과 같이 k 개 샘플로 근사할 수 있다.
∫p(x)f(x)dx=Ex∼p(x)[f(x)]≈K1i=0∑K[f(xi)]xi∼p(x)Exploring Starts Exploring starts 는 GPI 방식을 진행할 때, (s) 에서 시작하는 것이 아니라, (s,a) 쌍에서 시작하는 것을 의미한다. MC 에서 최적의 policy 를 찾기 위해서는 모든 (s,a) 를 무한히 visit 해야 한다. 결과적으로, exploring starts 를 이용한 방법에는 반드시 모든 (s,a) 가 무한히 vi...
Markov Decision Process, dynamic programming, Monte Carlo Method, temporal difference
Reparametrization Trick variational inference 에서 사용하는 sampling z q (z | x) 값을 잘 변환 (reparameterization) 해서 미분 가능한 것으로 바꾸는 trick 을 의미한다. 위 수식을 기반으로 Evidence Lower Bound 는 다음과 같이 바뀔 수 있다. 왜 Reparameterization Trick 이 필요한가?...
Monte Carlo method 을 활용한 VI 또는 SVI 등 적용
MCMC Approximation MCMC(Markov Chains Monte Carlo) algorithms 은 주어진 분포에 대한 sampling 또는 분포의 parameter estimation 에 사용되는 알고리즘이다. 2.
Variational Inference 변분 추론 (Variational Inference, VI) 은 intractable 한 posterior 분포 p(z\mid x) 를 다루기 쉬운 분포 q(z) 로 근사하는 방법론을 의미한다.
Expectation 분포의 중심이 되는 값이다. Probability Theory 에서, 랜덤 변수 X 에 대한 expected value 는 E(X) 또는 E[X] 로 표기된다.
Mean If we have a data set consisting of the values a {1},a {2},\ldots,a {n}, then the arithmetic mean A is defined by the formula: A=\frac{1}{n}\sum {i=1}^{n}a {i}=\frac{a...
Importance Sampling Importance sampling 은 효율적으로 기댓값을 추정하기 위해 고안된 방법이다. Why We Need IS? Rejection sampling 는 rejection 이 많을 경우 계산 비용이 많이드는 단점이 있다.
Ancestral Sampling graphical model 에서 사용되는 sampling 방식으로, 어떤 K 개의 노드 (variable) 이 존재할 때, 이에 대한 joint distribution p\left(x {1}, \ldots, x {K}\right) 을 sampling 으로 구하는 방식을 의미한다.
Rejection Sampling Rejection sampling 은 어떤 확률 밀도 함수 p(x) 에 대해, 다음과 같은 조건에서 효율적으로 sampling 을 수행할 수 있는 방법이다.
No U-Turn Sampler B) Related C) References Markov Chains: Why Walk When You Can Flow? | Elements of Evolutionary Anthropology.
Reparametrization Trick variational inference 에서 사용하는 sampling z \sim q {\phi}(z \mid x) 값을 잘 변환 (reparameterization) 해서 미분 가능한 것으로 바꾸는 trick 을 의미한다.
Reinforcement Learning machine learning 기법 중 하나.