Visit In 한 episode 에서 state s 를 발견한 경우, 이를 a visit to s 라고 한다. 물론 s 는 한 episode 에서 여러번 visited 될 수 있다. 한 episode 에서 s 를 처음 발견한 것은 first-visit 라고 한다.