Zzong's Notes

temporal difference

1 min read

Temporal Difference

Temporal Difference(TD)는 Monte Carlo 처럼 실제 경험에서 배우면서도, episode 가 끝날 때까지 기다리지 않고 다음 상태의 추정값을 이용해 바로 업데이트하는 강화학습 방법이다.

B) 핵심 아이디어

TD target 은 현재 reward 와 다음 상태의 value estimate 를 섞어서 만든다.

괄호 안의 값은 TD error 라고 부른다.

C) Monte Carlo 와 DP 사이

TD 는 sample 로부터 배우기 때문에 model-free 로 쓸 수 있고, 다음 상태의 추정값을 사용한다는 점에서 bootstrapping 을 한다. 그래서 Monte Carlo 와 Dynamic Programming 사이에 있는 방법처럼 볼 수 있다.

D) Related

링크된 언급

3
Q-learning

...강화 학습 알고리즘이다. 환경에 대한 모델이 필요없다는 점에서 model free 라는 prefix 가 붙었다. 또 Q Learning 을 부르는 다른 이름은 off policy temporal difference Control 이다. off policy 라 불리는 이유는 exploitation 을 위한 greedy policy 가 하나 있고, exploration 을 위한 \varepsi...

Reinforcement Learning

...or Recommender Systems C) Related Markov Decision Process, dynamic programming, Monte Carlo Method, temporal difference N step Bootstrapping Policy Gradient Multi Armed Bandit

SARSA

SARSA SARSA 는 state value function 값 말고, action value function 값을 이용하여 policy 를 improve 하는 temporal difference 방법이다. 즉, state action 쌍으로 부터 다른 state action 쌍으로 넘어가는 transition 을 고려한다. TD(0) 에서 state 대신 action 값...