Zzong's Notes

Markov Reward Process

1 min read

Markov Reward Process

Markov Chain 에 reward 를 추가한 시스템

어떤 state 에 도달할 때마다 reward 를 개별적으로 부여한다고 생각하면 편하다.

MRP 는 tuple 로 충분히 표현이 가능하다. 여기서 는 states 집합, 는 전이 확률 행렬, 은 보상 함수 그리고 은 discount factor 이다.

Related

References

링크된 언급

3
Bellman Equation

...ight)\left[r+\gamma v {\pi}\left(s^{\prime}\right)\right]\end{aligned} B) Bellman Equation for MRP Markov Reward Process 에서 특정 state s 와 다른 state s& 039; 간 value 관계를 표현한 수식 v(s)=\sum {s^{\prime}, r} p\left(s^{\prime}, r...

expected return

...t+3}+\cdots+R {T} B) Discounted Return 만약 끝이 없는 학습 (continuing tasks) 에서는 보상값이 무한대로 치솟을 수 있다 (e.g. Markov Reward Process). 이를 막기 위해 discounting return G t 를 사용한다. \displaystyle G {t}\doteq R {t+1}+\gamma R {t+2}+\gamma^...

Markov Decision Process

...ess MDP 는 sequential decision making 문제를 풀기위한 모델을 설정할 때 사용할 수 있는 프레임워크를 의미한다. A.1) MDP 구성 요소 MDP 는 Markov Reward Process 와 다르게 Action 이 추가된 구성을 가진다. \langle S, A, P, R, \gamma\rangle States : S {t}\in\mathcal{S} (states...