Zzong's Notes

every-visit MC

1 min read

Every-visit MC

  • every-visit MC 방법은 first-visit MC 와 달리, 어떤 든 visit 할때마다 returns 의 평균값을 취해 를 계산한다.
  • Every-visit MC 방법도 first-visit MC 방법과 큰 차이는 없다.
    • 다만, 가 해당 에피소드에서 방문했는지 하지 않았는지 검사하지 않는다.

B) Related

C) References

링크된 언급

1
Monte Carlo Method(RL)

...서 측정된 returns 들의 평균을 구하는 것이다. 만약 많은 returns 들이 관찰된다면, 구해진 평균은 expected value 에 수렴할 것이다. first visit MC every visit MC 반면, 두 MC 방법은 모두 s 에 대해 방문하는 횟수가 무한으로 증가할수록 v \pi(s) 가 수렴한다. 큰 수의 법칙 에 의해 이러한 추정값은 기댓값 으로 수렴하게 된다. MC 는...