S-MDP 문제를 다룬 paper 이다. S-MDP 란 매 step 마다 item 들의 부분 집합을 선택하는 MDP 문제
Discussion Q-learning based offline 학습 방식이고, 모델도 무겁고.. negative feedback 을 사용했다고 하는데, 관련 연구 내용이 없음 강화학습 주제이지만, MAB 와 비교가 없음 - [ ] MAB 는 MDP 랑 무슨 관계지? Abstract we propose a...
Paper link https://arxiv.org/abs/1812.07127
paper link: https://arxiv.org/pdf/2109.10665.pdf Reinforcement Learning based Recommender Systems: A Survey
Double Q-learning 알고리즘을 arbitrary function approximation 으로 일반화하는 Double DQN 알고리즘을 제안한다. 제안된 알고리즘은 기존 DQN 의 q-value 에 대해서 overestimation 함으로써 성능에 안좋은 영향을 미치는 이슈를 해소시킬 수 있다.
해결하려는 문제: 강화학습에서의 효율적인 exploration
뉴스 추천을 위한 딥러닝 기반의 강화 학습 프레임워크를 제안한다.
NN 을 활용한 Q-learning 알고리즘
RL methods work by maximizing the expected return of a policy. In reality it is often impractical to engineer dense reward functions for every task one wants an RL agent to solve.
YouTube 에 SARSA-TS 알고리즘을 실험 candidate - ranker 를 거치게 되는데, ranker 의 scoring 함수에서 사용하는 myopic(근시안적) engagement 측정값을 LTV estimate 로 변경함 candidate scoring 쪽은 그대로 유지