Zzong's Notes

conjugate gradients

1 min read

링크된 언급

2
BFGS

BFGS BFGS 알고리즘은 Newton-Raphson method 의 장점을 취하면서 계산 비용을 줄인 방법이다. 이런 관점에서 BFGS 는 conjugate gradients 방식과 비슷하다. 뉴턴 방법의 업데이트는 아래와 같다.

함께 보면 좋은 글

Newton-Raphson method

Newton-Raphson Method Newton’s method 라고 불리기도 하며, 실수 함수의 approximate 한 해를 빠르게 찾는 방법이다.

BFGS

BFGS BFGS 알고리즘은 Newton-Raphson method 의 장점을 취하면서 계산 비용을 줄인 방법이다. 이런 관점에서 BFGS 는 conjugate gradients 방식과 비슷하다. 뉴턴 방법의 업데이트는 아래와 같다.

Hessian matrix

Hessian Matrix Suppose f:\mathbb{R}^{n}\rightarrow\mathbb{R} is a function taking as input a vector \mathbf{x}\in\mathbb{R}^{n} and outputting a scalar f(\mathbf{x})\in\mathbb{R}.

backtracking line search

Backtracking line search gradient descent 에서 고정 step size 를 사용하게 되면 진행 속도가 항상 동일하기 때문에, 경사가 가파른 구간에서는 최적점을 지나쳐서 진동할 수 있으며 경사가 평평한 구간에서는 진행이 느려질 수가 있다.

concave function

Concave Function convex function 의 반대 함수 2. 주어진 함수가 Concave 인지 확인하는 법 2 차 미분이 음수인것을 확인하면 된다. 2.1. 예시 Q) g(x)=\log x 가 concave 한지 판단하라.

linear program

Linear Program Related References 모두를 위한 컨벡스 최적화 .

L-BFGS-B

What is the L-BFGS-B scipy.optimize.minimize 함수에서 사용하는 알고리즘 옵션 중 하나이다. 또한, L-BFGS-B 알고리즘은 BFGS 알고리즘의 확장된 버전이다.

quasi-Newton method

quasi-Newton Method Newton-Raphson method 대신 사용하는 방식으로, 주어진 함수들에 대한 로컬 maxima 또는 minima 를 찾는 방법이다.

constrained optimization problem

Constrained Optimization Problem 예시 Maximize f(x,y)=x^2y on the set x^2+y^2=1 (unit circle, constrained hole) f(x,y)=0.3 인 경우는 x^2+y^2=1 를 만족하는 x,y 를 찾을 수 있는데, f(x,y)=1 는 불가능...