optimization 방식을 의미
1 min read
optimization 방식을 의미
...pproximate 한다. Conjugate Gradients 와 비교 conjugate gradients 와 비슷하게 BFGS 방식도 second-order 정보에 기반한 방향을 따라 line search 를 진행한다. 그러나 conjugate gradients 와 다른점은 line search 과정에서 line 을 따라 놓여진 true minimum point 와 근접한 point 를 ...
gradient descent 에서 고정 step size 를 사용하게 되면 진행 속도가 항상 동일하기 때문에, 경사가 가파른 구간에서는 최적점을 지나쳐서 진동할 수 있으며 경사가 평평한 구간에서는 진행이 느려질 수가 있다.
References 모두를 위한 컨벡스 최적화 .
What is the L-BFGS-B scipy.optimize.minimize 함수에서 사용하는 알고리즘 옵션 중 하나이다. 또한, L-BFGS-B 알고리즘은 BFGS 알고리즘의 확장된 버전이다.
conjugate gardients 는 Newton-Raphson method 방식에서 파생된 Hessian matrix 의 inverse 계산을 효율적으로 피하기 위해 고안된 방법으로, conjugate directions 을 반복적으로 줄이는 (descending) 방식으로 진행한다.
예시 Maximize f(x,y)=x^2y on the set x^2+y^2=1 (unit circle, constrained hole) f(x,y)=0.3 인 경우는 x^2+y^2=1 를 만족하는 x,y 를 찾을 수 있는데, f(x,y)=1 는 불가능 .
목적 함수가 이차식이고 제약이 모두 선형인 최적화 문제다.
최적화 문제 (Optimization problems) 란 여러개의 선택가능한 후보 중에서 최적의 해 (Optimal value) 또는 최적의 해에 근접한 값을 찾는 문제를 일컫는다.
Newton-Raphson method 대신 사용하는 방식으로, 주어진 함수들에 대한 로컬 maxima 또는 minima 를 찾는 방법이다.
Suppose f:\mathbb{R}^{n}\rightarrow\mathbb{R} is a function taking as input a vector \mathbf{x}\in\mathbb{R}^{n} and outputting a scalar f(\mathbf{x})\in\mathbb{R}.
gradient descent 를 진행할 때, 모든 training example 을 전부 사용하는 것을 Batch Gradient Descent 라 부른다.