ADMM 은 원래의 convex 최적화 문제보다 최적화가 쉬운 부분문제로 분할하고 이를 취합함으로써 복잡한 원 문제를 해결하는 방식의 근사알고리즘이다.
ADMM 은 원래의 convex 최적화 문제보다 최적화가 쉬운 부분문제로 분할하고 이를 취합함으로써 복잡한 원 문제를 해결하는 방식의 근사알고리즘이다.
... 사용했다. 그리고 step size 의 경우 L 의 Lipschitz constant 의 역수를 step size 로 활용하였다. online AB Test 과정에서는 분산 최적화 알고리즘인 ADMM 를 활용하여 모델 training 을 진행하였다. Conclusion prior combine 방식은 real-world dataset 에서 잘 동작하지 않았다. Why? prior model...
최적화 문제 (Optimization problems) 란 여러개의 선택가능한 후보 중에서 최적의 해 (Optimal value) 또는 최적의 해에 근접한 값을 찾는 문제를 일컫는다.
간단한 모델에서는 p\left(z\mid x;\theta\right) 에 대한 analytical solution 이 존재하여 q(z)=p\left(z\mid x;\theta\right) 을 구하는 것이 tractable 했다. 대신, x 가 주어졌을 때, latent variables 의 집합이 나머지 latent variables 에 대하여 독립임을 가정하면...
관측된 값과 추정된 값의 차이를 의미한다. 여기서 추정된 값은 표본집단과 같은 곳에서 구해지는 estimated value 를 의미한다.
Newton-Raphson method 대신 사용하는 방식으로, 주어진 함수들에 대한 로컬 maxima 또는 minima 를 찾는 방법이다.
Momentum(모멘텀)은 최적화 알고리즘에서 사용되는 기법으로, 이전 단계의 업데이트 방향을 일정 비율로 반영하여 학습의 속도를 높이고 진동을 줄이는 역할을 합니다.
Global minimum 은 목적 함수 전체 영역에서 가장 작은 값을 가지는 지점이다.
tight lowerbound LL(\boldsymbol{\theta}) ,
Method of finding a local maximum subject to constraints. Maximize f(x,y) and subject to g(x,y)=c (constraint) Assuming that f and g have continuous partial derivatives. Lagrange...
For a random variable x, if f(x) is convec (refer. convex function), then E[f(x)]>=f(E[x]).
Newton’s method 라고 불리기도 하며, 실수 함수의 approximate 한 해를 빠르게 찾는 방법이다. Newton-Raphson method 는 f(x) 의 해를 찾기 위해 다음을 무한히 반복한다