Markov Property
회의 상태 (state) 는 오직 회에서의 상태, 혹은 그 이전 일정 기간의 상태에만 영향을 받는 것
1 min read
...없습니다. 요정이 공을 뽑을 때는 다음 규칙을 따릅니다: n 번째 공을 뽑기 위한 항아리는 무작위 숫자와 n 1 번째 공을 뽑기 위해 선택한 항아리에만 영향을 받습니다. A.1.3) Markov property 직전 상태에만 영향을 받습니다. A.1.4) HMM 응용 Hidden state 예측 Tagging: 주어진 단어 토큰에 대해 품사 예측에 사용됩니다. 다음 observation 예...
...ward : R {t+1}\in\mathcal{R}\subset\mathbb{R} MDP 의 time t 는 굳이 시간에 대한 개념이 아니라 stages 로 생각하면 좋다. A.2) Markov Property Markov property: MDP 의 S t 와 A t 는 무조건 S {t 1} 와 A {t 1} 에 의해서만 영향을 받음 B) Dynamics of the MDP time st...
Stationary Distribution Markov property 를 만족한 상태에서 Markov 연쇄를 반복하다 보면 현재 상태의 확률이 직전 상태의 확률과 같아지면서 수렴하게 되는데, 이렇게 평형 상태에 도달한 확률 분포를 정적분포 (Stati...