Learning Rate

B) 학습률과 gradient descent 의 관계

비용 함수 $J({\theta }_1)$ 에서, parameter ${\theta }_1$ 을 찾기 위해, 다음과 같은 gradient descent 를 반복한다고 가정하자.

$${\theta }_1:={\theta }_1-\alpha \frac{\partial }{\partial {\theta }_1}J({\theta }_1)$$

위 식에서 $\alpha$ 는 Learning rate 로, Learning rate 값에 따른 gradient descent 의 변화를 그림으로 표현하면 다음과 같다.

C) Related

D) References