몬테카를로 방법이란 랜덤 표본을 뽑아 함수의 값을 확률적으로 계산하는 알고리즘
계산하려는 값이 닫힌 형식 (closed form) 으로 표현되지 않거나 복잡한 경우에 그 값을 근사적으로 계산하려고 할 때 쓰임
예시
특정 확률 분포를 따르는 함수의 expectation 은 monte carlo method(단순 mean 계산) 를 통해 다음과 같이 개 샘플로 근사할 수 있다.
1 min read
몬테카를로 방법이란 랜덤 표본을 뽑아 함수의 값을 확률적으로 계산하는 알고리즘
계산하려는 값이 닫힌 형식 (closed form) 으로 표현되지 않거나 복잡한 경우에 그 값을 근사적으로 계산하려고 할 때 쓰임
특정 확률 분포를 따르는 f(x) 함수의 expectation 은 monte carlo method(단순 mean 계산) 를 통해 다음과 같이 k 개 샘플로 근사할 수 있다.
∫p(x)f(x)dx=Ex∼p(x)[f(x)]≈K1i=0∑K[f(xi)]xi∼p(x)Exploring starts 는 GPI 방식을 진행할 때, (s) 에서 시작하는 것이 아니라, (s,a) 쌍에서 시작하는 것을 의미한다. MC 에서 최적의 policy 를 찾기 위해서는 모든 (s,a) 를 무한히 visit 해야 한다. 결과적으로, exploring starts 를 이용한 방법에는 반드시 모든 (s,a) 가 무한히 vi...
edwith Rejection sampling Monte Carlo Method
Markov Decision Process, dynamic programming, statistic/Monte Carlo Method, temporal difference
variational inference 에서 사용하는 sampling z q (z | x) 값을 잘 변환 (reparameterization) 해서 미분 가능한 것으로 바꾸는 trick 을 의미한다. 위 수식을 기반으로 Evidence Lower Bound 는 다음과 같이 바뀔 수 있다. 왜 Reparameterization Trick 이 필요한가 즉, 고정된 parameter 가 있을 때,...
Monte Carlo method 을 활용한 VI 또는 SVI 등 적용
Visit In statistic/Monte Carlo Method
한줄 요약 Importance sampling 은 뽑기 어려운 분포의 기댓값을, 뽑기 쉬운 분포에서 뽑아서 계산하는 방법이다. 어떤 확률 분포 p 에서 f(x) 의 평균이 궁금한데 p 에서 sample 을 만들기 어려운 경우가 있다.
Monte Carlo Method Monte Carlo Method 방법은 경험 (experience) 이 필요하다. 경험이란 환경과의 상호 작용을 통해 얻어지는 일련의 states, actions 그리고 rewards 의 sample 을 의미한다.
MCMC(Markov Chains Monte Carlo) algorithms 은 주어진 분포에 대한 sampling 또는 분포의 parameter estimation 에 사용되는 알고리즘이다.
변분 추론 (Variational Inference, VI) 은 intractable 한 posterior 분포 p(z\mid x) 를 다루기 쉬운 분포 q(z) 로 근사하는 방법론을 의미한다.
분포의 중심이 되는 값이다. Probability Theory 에서, 랜덤 변수 X 에 대한 expected value 는 E(X) 또는 E[X] 로 표기된다.
If we have a data set consisting of the values a {1},a {2},\ldots,a {n}, then the arithmetic mean A is defined by the formula: A=\frac{1}{n}\sum {i=1}^{n}a {i}=\frac{a {1}+a...
Metropolis-Hasting 알고리즘은 pdf P(x) 에 해당하는 어떤 확률 분포 (a.k.a. a target distribution) 의 샘플링을 가능하게 해준다.
graph/graphical model 에서 사용되는 sampling 방식으로, 어떤 K 개의 노드 (variable) 이 존재할 때, 이에 대한 joint distribution p\left(x {1}, \ldots, x {K}\right) 을 sampling 으로 구하는 방식을 의미한다.
Rejection sampling 은 어떤 확률 밀도 함수 p(x) 에 대해, 다음과 같은 조건에서 효율적으로 sampling 을 수행할 수 있는 방법이다. 주어진 확률 분포 p(x) 의 확률 밀도 함수 (pdf) 를 알고 있어야 한다.
SMOTE 는 낮은 비율 클래스 데이터들의 최근접 이웃을 이용하여 새로운 데이터를 생성합니다. 완전히 똑같은 특성을 가진 데이터를 복사하는 것은 의미가 없기 때문에, 아래 그림과 같이 근접해 있는 데이터들과 일정한 거리를 떨어진 위치에 데이터를 생성하는 것입니다.