1 min read
목적 함수의 이차항이 없으면(Q = 0) linear program 이 된다. Q 가 결정하는 난이도 Q 가 positive definite 이거나 준정부호이면 목적 함수가 볼록 하다. 이 경우 국소 최솟값이 곧 전역 최솟값이라 다항 시간에 풀 수 있...
목적 함수가 이차식이고 제약이 모두 선형인 최적화 문제다.
예시 Maximize f(x,y)=x^2y on the set x^2+y^2=1 (unit circle, constrained hole) f(x,y)=0.3 인 경우는 x^2+y^2=1 를 만족하는 x,y 를 찾을 수 있는데, f(x,y)=1 는 불가능 .
optimization 방식을 의미 .
conjugate gardients 는 Newton-Raphson method 방식에서 파생된 Hessian matrix 의 inverse 계산을 효율적으로 피하기 위해 고안된 방법으로, conjugate directions 을 반복적으로 줄이는 (descending) 방식으로 진행한다.
gradient descent 에서 고정 step size 를 사용하게 되면 진행 속도가 항상 동일하기 때문에, 경사가 가파른 구간에서는 최적점을 지나쳐서 진동할 수 있으며 경사가 평평한 구간에서는 진행이 느려질 수가 있다.
What is the L-BFGS-B scipy.optimize.minimize 함수에서 사용하는 알고리즘 옵션 중 하나이다. 또한, L-BFGS-B 알고리즘은 BFGS 알고리즘의 확장된 버전이다.
최적화 문제 (Optimization problems) 란 여러개의 선택가능한 후보 중에서 최적의 해 (Optimal value) 또는 최적의 해에 근접한 값을 찾는 문제를 일컫는다.
Method of finding a local maximum subject to constraints.
tight lowerbound LL(\boldsymbol{\theta}) , Q\left(\boldsymbol{\theta},\boldsymbol{\theta}^{t}\right)\leq LL(\boldsymbol{\theta})...
ADMM 은 원래의 convex 최적화 문제보다 최적화가 쉬운 부분문제로 분할하고 이를 취합함으로써 복잡한 원 문제를 해결하는 방식의 근사알고리즘이다.