- 임의로 아무 콘텐츠나 시도해보며 콘텐츠의 반응률을 유추하는 과정을 탐색 (explore) 라고 부르며, 지금까지 반응률이 가장 높았던 콘텐츠를 노출시키는 것을 활용 (exploit) 이라 부른다.
- Exploit 과 explore 는 trade-off 관계이므로, 이 둘을 잘 조절하는 것이 Multi-Armed Bandit 의 핵심이다.
예시
1 min read
Exploration and Exploitation trade-off Multi-Armed Bandit 는 현실에 적용하기에는 풀어야 할 문제가 많아서 이를 RS 에 바로 사용할 수는 없다.
\varepsilon-Greedy 알고리즘은 \varepsilon 확률로 가능한 모든 action 들 중 하나를 동일한 확률로 임의 선택하는 것이다. 그 외에는 greedy 알고리즘과 동일하다.
정의 Multi-armed Bandit 은 어떤 슬롯머신이 어떤 수익률을 가지는지 모를 때, 탐색 (Exploration) 과 활용 (Exploitation) 을 적절히 사용하여 최적의 수익을 찾아내고자 하는 Reinforcement Learning 알고리즘을 의미한다.
Reinforcement Learning machine learning 기법 중 하나.
References jeremykun.com/2013/11/08/adversarial-bandits-and-the-exp3-algorithm/ .
UCB란 UCB(Upper Confidence Bound) 알고리즘은 각 팔(arm)의 현재까지의 평균 보상(mean reward)을 추적하면서, 동시에 각 arm 에 대한 상위 신뢰 구간(upper confidence bound, UCB)을 계산합니다.
Hard-exploration 문제 hard-exploration 문제란, 보상이 매우 드문 특정 환경에서의 exploration 을 의미한다. 임의의 exploration 의 경우, 성공적인 state 나 의미있는 feedback 을 발견하기가 매우 어렵다.
톰슨 샘플링이란 Thompson sampling(또는 TS) 은 Multi-Armed Bandit 의 exploration-exploitation 딜레마를 해결하기 위한 휴리스틱 policy 의 일종이다.
Method of Moments A.1) Recoteam 픽코마 적용 사례 issue: 2019 하계 인턴, 픽코마/선물하기 연관 추천 개선 신규 arm 이 지나치게 높은 entry expected reward 값을 가지고 있기 때문에 신규 arm 이 아니면 거의 explore 되지 못 하는 문제가 있었음 기존...
Optimal Regret Analysis of Thompson Sampling in Stochastic Multi-armed Bandit Problem with Multiple Plays B) Introduction Thompson sampling is an old heuristic that has a...
Exploring Starts Exploring starts 는 GPI 방식을 진행할 때, (s) 에서 시작하는 것이 아니라, (s,a) 쌍에서 시작하는 것을 의미한다. MC 에서 최적의 policy 를 찾기 위해서는 모든 (s,a) 를 무한히 visit 해야 한다.