...있다. 이러한 과정을 bootstrapping 이라 한다. 다만, 이렇게 수행하는 방식은 states 가 너무 많은 경우 실행이 불가능하다. 많은 Reinforcement Learning 방법은 DP 에서 요구되는 완전하고 정확한 환경 모델 (MDP) 없이도 bootstrapping 을 수행한다. D) Related bagging
Monte Carlo Control DP 와 비슷한 GPI(Generalized policy iteration) 방식으로 MC 도 optimal policies 를 approximate 할 수 있다.
Markov Decision Process, dynamic programming, Monte Carlo Method, temporal difference
Reinforcement Learning machine learning 기법 중 하나.
Monte Carlo Method Monte Carlo Method 방법은 경험 (experience) 이 필요하다. 경험이란 환경과의 상호 작용을 통해 얻어지는 일련의 states, actions 그리고 rewards 의 sample 을 의미한다.
DP DP 방식은 MDP 에 대한 optimal solution 을 제공하는 방법이다. 일반적으로 MDP 와 같은 환경에 대한 완벽한 모델이 주어졌을 때 사용하는 알고리즘의 총칭을 의미한다.
The bootstrap is a method to derive the distribution of an estimator by data resampling.
Value Iteration policy iteration 과정에서 policy evaluation 높은 계산 비용이 필요하다. 이러한 이슈를 해소하기 위해 value iteration 알고리즘을 활용한다.
Dynamics MDP 에서 정의하는 dynamics 는 다음과 같다.
Policy policy 란 주어진 states 에서 actions 에 대한 확률 분포를 의미하며 \pi 로 표현한다.
Value Function state s 에서 policy \pi 를 따를 경우 state-value function 은 v {\pi}(s) 다.
State-value Function state 의 value 를 state-value function v {\pi}(s) 이라 부른다. 이는 state s 에서 시작할 때 얻을 수 있는 expected discounted return 값을 의미한다.
S-MDP agent 가 조합적 선택 (combinatorial selections) 을 연속적으로 수행해야 하는 문제 B) Related C) References.