몬테카를로 방법이란 랜덤 표본을 뽑아 함수의 값을 확률적으로 계산하는 알고리즘
계산하려는 값이 닫힌 형식 (closed form) 으로 표현되지 않거나 복잡한 경우에 그 값을 근사적으로 계산하려고 할 때 쓰임
예시
특정 확률 분포를 따르는 함수의 expectation 은 monte carlo method(단순 mean 계산) 를 통해 다음과 같이 개 샘플로 근사할 수 있다.
몬테카를로 방법이란 랜덤 표본을 뽑아 함수의 값을 확률적으로 계산하는 알고리즘
계산하려는 값이 닫힌 형식 (closed form) 으로 표현되지 않거나 복잡한 경우에 그 값을 근사적으로 계산하려고 할 때 쓰임
특정 확률 분포를 따르는 f(x) 함수의 expectation 은 monte carlo method(단순 mean 계산) 를 통해 다음과 같이 k 개 샘플로 근사할 수 있다.
∫p(x)f(x)dx=Ex∼p(x)[f(x)]≈K1i=0∑K[f(xi)]xi∼p(x)Exploring starts 는 GPI 방식을 진행할 때, (s) 에서 시작하는 것이 아니라, (s,a) 쌍에서 시작하는 것을 의미한다. MC 에서 최적의 policy 를 찾기 위해서는 모든 (s,a) 를 무한히 visit 해야 한다. 결과적으로, exploring starts 를 이용한 방법에는 반드시 모든 (s,a) 가 무한히 vi...
edwith Rejection sampling Monte Carlo Method
Markov Decision Process, dynamic programming, statistic/Monte Carlo Method, temporal difference
variational inference 에서 사용하는 sampling z q (z | x) 값을 잘 변환 (reparameterization) 해서 미분 가능한 것으로 바꾸는 trick 을 의미한다. 위 수식을 기반으로 Evidence Lower Bound 는 다음과 같이 바뀔 수 있다. 왜 Reparameterization Trick 이 필요한가 즉, 고정된 parameter 가 있을 때,...
Monte Carlo method 을 활용한 VI 또는 SVI 등 적용
Importance sampling 은 뽑기 어려운 분포의 기댓값을, 뽑기 쉬운 분포에서 뽑아서 계산하는 방법이다.
MCMC(Markov Chains Monte Carlo) algorithms 은 주어진 분포에 대한 sampling 또는 분포의 parameter estimation 에 사용되는 알고리즘이다.
Monte Carlo Method 방법은 경험 (experience) 이 필요하다. 경험이란 환경과의 상호 작용을 통해 얻어지는 일련의 states, actions 그리고 rewards 의 sample 을 의미한다.
변분 추론 (Variational Inference, VI) 은 intractable 한 posterior 분포 p(z\mid x) 를 다루기 쉬운 분포 q(z) 로 근사하는 방법론을 의미한다. 이때 x 는 관측 가능한 데이터, z 는 latent variable 을 의미한다.
Probability Theory 에서, 랜덤 변수 X 에 대한 expected value 는 E(X) 또는 E[X] 로 표기된다.
If we have a data set consisting of the values a_{1},a_{2},\ldots,a_{n}, then the arithmetic mean A is defined by the formula:
graph/graphical model 에서 사용되는 sampling 방식으로, 어떤 K 개의 노드 (variable) 이 존재할 때, 이에 대한 joint distribution p\left(x_{1}, \ldots, x_{K}\right) 을 sampling 으로 구하는 방식을 의미한다.
Metropolis-Hasting 알고리즘은 pdf P(x) 에 해당하는 어떤 확률 분포 (a.k.a. a target distribution) 의 샘플링을 가능하게 해준다.
Rejection sampling 은 어떤 확률 밀도 함수 p(x) 에 대해, 다음과 같은 조건에서 효율적으로 sampling 을 수행할 수 있는 방법이다.
machine learning 기법 중 하나.