What is the L-BFGS-B
scipy.optimize.minimize 함수에서 사용하는 알고리즘 옵션 중 하나이다.
또한, L-BFGS-B 알고리즘은 BFGS 알고리즘의 확장된 버전이다.
1 min read
scipy.optimize.minimize 함수에서 사용하는 알고리즘 옵션 중 하나이다.
또한, L-BFGS-B 알고리즘은 BFGS 알고리즘의 확장된 버전이다.
BFGS BFGS 알고리즘은 Newton-Raphson method 의 장점을 취하면서 계산 비용을 줄인 방법이다. 이런 관점에서 BFGS 는 conjugate gradients 방식과 비슷하다. 뉴턴 방법의 업데이트는 아래와 같다.
Line search optimization 방식을 의미 .
Conjugate Gradients conjugate gardients 는 Newton-Raphson method 방식에서 파생된 Hessian matrix 의 inverse 계산을 효율적으로 피하기 위해 고안된 방법으로, conjugate directions 을 반복적으로 줄이는 (descending) 방식으로...
Backtracking line search gradient descent 에서 고정 step size 를 사용하게 되면 진행 속도가 항상 동일하기 때문에, 경사가 가파른 구간에서는 최적점을 지나쳐서 진동할 수 있으며 경사가 평평한 구간에서는 진행이 느려질 수가 있다.
Linear Program Related References 모두를 위한 컨벡스 최적화 .
Constrained Optimization Problem 예시 Maximize f(x,y)=x^2y on the set x^2+y^2=1 (unit circle, constrained hole) f(x,y)=0.3 인 경우는 x^2+y^2=1 를 만족하는 x,y 를 찾을 수 있는데, f(x,y)=1 는 불가능...
quasi-Newton Method Newton-Raphson method 대신 사용하는 방식으로, 주어진 함수들에 대한 로컬 maxima 또는 minima 를 찾는 방법이다.
Optimization Problem 최적화 문제 (Optimization problems) 란 여러개의 선택가능한 후보 중에서 최적의 해 (Optimal value) 또는 최적의 해에 근접한 값을 찾는 문제를 일컫는다.
Bound Optimization tight lowerbound LL(\boldsymbol{\theta}) , Q\left(\boldsymbol{\theta},\boldsymbol{\theta}^{t}\right)\leq LL(\boldsymbol{\theta})...
Global Minimum Global minimum 은 목적 함수 전체 영역에서 가장 작은 값을 가지는 지점이다. x^\ = \arg\min x f(x) 어떤 지점이 주변에서는 가장 작지만 전체에서는 더 작은 지점이 따로 있다면 local minimum 이다.