1 min read
Action-value function qπ(s,a) 는 다음과 같은 질문에 대한 답을 지닌 함수다.
“ 만약 내가 현재 state s 에서 action a 를 취한 이후 policy π 를 따른다면 얻을 수 있는 expected cumulative return(expected return) 은 얼마인가?”
정의는 다음과 같다.
qπ(s,a)≜Eπ[Gt∣St=s,At=a]=Eπ[k=0∑∞γkRt+k+1∣St=s,At=a]=E[Rt+1+γvπ(s′)∣St=s,At=a]=s′,r∑p(s′,r∣s,a)[r+γvπ(s′)]마지막 Bellman Equation에서 vπ(s′) 는 state s′ 에 대한 state-value function을 의미한다.
qπ(s,a) 는 사실상 선택할 수 있는 a가 하나밖에 없고, ∑aπ(a∣s)=1 을 만족하는 경우의 vπ(s) 값으로 생각할 수 있다.
advantage function 은 q-value 값과 state-value function 값의 차이를 의미한다.
For Action-value Function optimal action-value function q 에 대한 Bellman Optimality Equation 은 다음과 같다.
...uble Q-learning 알고리즘을 arbitrary function approximation 으로 일반화하는 Double DQN 알고리즘을 제안한다. 제안된 알고리즘은 기존 DQN 의 q-value 에 대해서 overestimation 함으로써 성능에 안좋은 영향을 미치는 이슈를 해소시킬 수 있다. Background Q-Learning policy π 가 주어질 때, state s ...
...gent 의 메모리에 저장되고, 매 1 시간마다 agent 는 메모리의 로그를 활용해 추천 알고리즘을 업데이트한다. Method Deep Reinforcement Recommendation q-value 는 다음과 같이 계산할 수 있다.
Qₙ 는 action a 를 n-1 번 선택한 이후의 action-value function 의 추정값을 의미한다.
policy improvement action-value function q_π 를 찾았기 때문에, 모든 s S 에 대해서, 바로 다음과 같은 action 을 취하면 된다.
Policy 와 value 둘 다에 대한 적절한 학습 방법을 actor-critic methods 라 부른다. Actor: Learned policy Critic: learned value Function (일반적으로 state-value function 을 의미한다.) Why Policy Gradients Deep Q Learning 은 action space 가 크거나 연속일 경우 잘 동...
다수의 action 이 허용되는 stochastic case 에서는 하나만 선택하지 않고, 동일한 q value 값을 가지는 모든 a 에 대해 비율을 나눠준다. 예를 들어 grid 의 경우 동서남북 중, 남북이 같다면 0.5, 0.5 비율로 이렇게 기존의 policy 에 대한 value functio...
...ation 을 위한 -greedy 와 같은 또 다른 policy 가 존재하기 때문이다. Q 에서 유도되는 policy 에 상관없이 amax\ Q(St+1,a) 를 통해서 최적의 action-value function 를 통해 Q 를 update 한다. Algorithm state-action 조합에 대한 quality(q-value) 를 저장하고 있는 함수를 사용한다.
SARSA 는 state-value function 값 말고, action-value function 값을 이용하여 policy 를 improve 하는 temporal difference 방법이다. 즉, state-action 쌍으로 부터 다른 state-action 쌍으로 넘...
state 의 value 를 state-value function v {\pi}(s) 이라 부른다. 이는 state s 에서 시작할 때 얻을 수 있는 expected discounted return 값을 의미한다.
state s 에서 policy \pi 를 따를 경우 state-value function 은 v {\pi}(s) 다.
advantage function 은 q-value 값과 state-value function 값의 차이를 의미한다.
Q-Learning 은 model-free 강화 학습 알고리즘이다. 환경에 대한 모델이 필요없다는 점에서 model-free 라는 prefix 가 붙었다.
state-value function v \pi(s) 에 대한 Bellman Equation 은 다음과 같다.
누적 보상을 의미하며, Reinforcement Learning 에서 agent 의 목표는 이 값을 최대화 하는 것을 의미한다. 끝이 있는 학습 (episode 가 존재하는 학습, episodic tasks) 에서는 return G t 다음과 같이 표현될 수 있다.
v {\pi}(s)=\mathbb{E} {\pi}\left[R {t+1}+\gamma v {\pi}\left(S {t+1}\right)\mid S {t}=s\right],\ \ \text{for all }s\in\mathcal{S} 식 유도 \begin{aligned} v...
Q n 는 action a 를 n-1 번 선택한 이후의 action-value function 의 추정값을 의미한다.
SARSA 는 state-value function 값 말고, action-value function 값을 이용하여 policy 를 improve 하는 temporal difference 방법이다.
Policy Improvement (theorem) 현재 policy \pi 보다 더 좋은 policy 는 어떻게 찾을까? 만약 state s 에서 a 를 선택하고 \pi 를 따르는 것이 s 에서 바로 \pi 를 따르는 것보다 좋은 선택이라면, s 를 만날때마다 a 를 선택하는 것이 \pi 보다 좋은 policy...