advantage function 은 q-value 값과 state-value function 값의 차이를 의미한다.
이 함수는 를 만족하는 특징이 있다.
advantage 함수는 각 action 의 상대적 중요성을 판단하기 위해 사용하는 값이다.
advantage function 은 q-value 값과 state-value function 값의 차이를 의미한다.
Aπ(s,a)=Qπ(s,a)−Vπ(s)이 함수는 Ea∼π(s)[Aπ(s,a)]=0 를 만족하는 특징이 있다.
advantage 함수는 각 action 의 상대적 중요성을 판단하기 위해 사용하는 값이다.
한줄 요약 웹툰 추천 화면이 클릭만 많이 받는 작품이 아니라, 사용자가 끝까지 보고 결제까지 이어지는 작품 을 위에 올리도록 학습하는 방법이다. NAVER WEBTOON 이 이미 사전학습해 둔 추천 Foundation Model(FM)을 “새 작품 발견” 화면에 붙이면서 썼다. FM 을 새로 학습하는 논문은 아니다. 문제 목표는 “작품을 끝까지 보는가” 인데, 이 신호는 드물다. 작품을 클릭...
보상을 이용해 행동 확률을 바꾸기 REINFORCE는 직접 시도한 행동과 그 보상을 이용해, 기대 보상이 커지는 방향으로 행동 확률을 조정하는 방법 이다. 행동을 고르는 확률 분포를 policy라고 하고, 그 분포의 parameter를 gradient로 학습하는 계열을 policy gradient라고 한다. REINFORCE는 실제로 뽑은 샘플로 gradient를 추정하는 대표적인 방법이다....
Action-value function q_{\pi}(s, a) 는 다음과 같은 질문에 대한 답을 지닌 함수다.
state 의 value 를 state-value function v_{\pi}(s) 이라 부른다. 이는 state s 에서 시작할 때 얻을 수 있는 expected discounted return 값을 의미한다.
REINFORCE는 직접 시도한 행동과 그 보상을 이용해, 기대 보상이 커지는 방향으로 행동 확률을 조정하는 방법 이다.
state s 에서 policy \pi 를 따를 경우 state-value function 은 v_{\pi}(s) 다.
RL 커뮤니티에서는 Q-learning 으로 정의되며, bandit literature 에서는 Direct Method(DM) 라고 불린다.
Q-Learning 은 model-free 강화 학습 알고리즘이다. 환경에 대한 모델이 필요없다는 점에서 model-free 라는 prefix 가 붙었다.
강화학습에서 주어진 policy 를 평가하는 것은 다양한 방법이 존재한다. 그중에서 policy \pi 의 state-value function v_\pi 을 계산하여 비교하는 방법이 있다.
Q_n 는 action a 를 n-1 번 선택한 이후의 action-value function 의 추정값을 의미한다.
SARSA 는 state-value function 값 말고, action-value function 값을 이용하여 policy 를 improve 하는 temporal difference 방법이다.
현재 policy \pi 보다 더 좋은 policy 는 어떻게 찾을까?