Line search
optimization 방식을 의미
1 min read
...imate 한다. A.1) Conjugate Gradients 와 비교 conjugate gradients 와 비슷하게 BFGS 방식도 second-order 정보에 기반한 방향을 따라 line search 를 진행한다. 그러나 conjugate gradients 와 다른점은 line search 과정에서 line 을 따라 놓여진 true minimum point 와 근접한 point 를 ...
Backtracking line search gradient descent 에서 고정 step size 를 사용하게 되면 진행 속도가 항상 동일하기 때문에, 경사가 가파른 구간에서는 최적점을 지나쳐서 진동할 수 있으며 경사가 평평한 구간에서는 진행이 느려질 수가 있다.
Linear Program Related References 모두를 위한 컨벡스 최적화 .
What is the L-BFGS-B scipy.optimize.minimize 함수에서 사용하는 알고리즘 옵션 중 하나이다. 또한, L-BFGS-B 알고리즘은 BFGS 알고리즘의 확장된 버전이다.
Conjugate Gradients conjugate gardients 는 Newton-Raphson method 방식에서 파생된 Hessian matrix 의 inverse 계산을 효율적으로 피하기 위해 고안된 방법으로, conjugate directions 을 반복적으로 줄이는 (descending) 방식으로...
BFGS BFGS 알고리즘은 Newton-Raphson method 의 장점을 취하면서 계산 비용을 줄인 방법이다. 이런 관점에서 BFGS 는 conjugate gradients 방식과 비슷하다. 뉴턴 방법의 업데이트는 아래와 같다.
Constrained Optimization Problem 예시 Maximize f(x,y)=x^2y on the set x^2+y^2=1 (unit circle, constrained hole) f(x,y)=0.3 인 경우는 x^2+y^2=1 를 만족하는 x,y 를 찾을 수 있는데, f(x,y)=1 는 불가능...
Optimization Problem 최적화 문제 (Optimization problems) 란 여러개의 선택가능한 후보 중에서 최적의 해 (Optimal value) 또는 최적의 해에 근접한 값을 찾는 문제를 일컫는다.
quasi-Newton Method Newton-Raphson method 대신 사용하는 방식으로, 주어진 함수들에 대한 로컬 maxima 또는 minima 를 찾는 방법이다.
Least Squares Estimation least squares estimation 이란 주어진 데이터의 선형 모델을 풀기 위한 접근 방식들의 통칭을 의미한다.
Hessian Matrix Suppose f:\mathbb{R}^{n}\rightarrow\mathbb{R} is a function taking as input a vector \mathbf{x}\in\mathbb{R}^{n} and outputting a scalar f(\mathbf{x})\in\mathbb{R}.