Zzong's Notes

first-visit MC

1 min read

First-visit MC

first-visit MC 방법은 처음 visit 하는 에 대해서 returns 의 평균값을 취해 를 계산한다.

image-20201022142040163

first-visit 의 경우에는 각 return 값은 유한한 variance 를 가지는 의 추정값에 대해 i.i.d. 하다.

B) Related

C) References

링크된 언급

2
every-visit MC

Every visit MC every visit MC 방법은 first visit MC 와 달리, 어떤 s 든 visit 할때마다 returns 의 평균값을 취해 v \pi(s) 를 계산한다. Every visit MC 방법도 first visit MC 방법과 큰 차이는...

Monte Carlo Method(RL)

... state 를 방문 하고나서 측정된 returns 들의 평균을 구하는 것이다. 만약 많은 returns 들이 관찰된다면, 구해진 평균은 expected value 에 수렴할 것이다. first visit MC every visit MC 반면, 두 MC 방법은 모두 s 에 대해 방문하는 횟수가 무한으로 증가할수록 v \pi(s) 가 수렴한다. 큰 수의 법칙 에 의해 이러한 추정값은 기댓값 으...