Jensen’s Inequality
For a random variable , if is convec (refer. convex function), then .
For a random variable , if is concave, then
(위와 반대).
A.1) Note
- Jensen 의 부등식에서 등호가 성립하는 경우는 다음과 같습니다: 이 성립하려면, 가 상수일 때만 가능합니다.
1 min read
For a random variable x, if f(x) is convec (refer. convex function), then E[f(x)]>=f(E[x]).
For a random variable x, if f(x) is concave, then f(E[x])>=E[f(x)]
(위와 반대).
Convex ? Concave f(x) is concave, iff -f(x) is convex. B) Convex Quadratic Function 아래 그림과 같이 오직 하나의 minima (global minimum) 밖에 존재하지 않는 비용 함수 J 를 convex quadratic function 이라 부른다. convex 는 윤곽이 볼록하다는 뜻이다. C) Strictly Conv...
EM Algorithm 으로 풀 수 있는 문제들 mixture gaussian problem, Probabilistic latent Semantic Indexing, K-means B) 정의 EM algorithm is an iterative method and a bound optimization algorithm to find (local) MLE or MAP estimates of pa...
한줄 요약 KL-Divergence(Kullback-Leibler Divergence)는 두 확률분포가 얼마나 다른지를 재는 값이다. 직관으로는 “진짜 분포가 P인데 내가 Q라고 믿고 행동하면, 평균적으로 얼마나 손해를 보나” 를 잰다. 정보이론 관점에서 그 손해는 “낭비되는 비트 수”이고, 통계 관점에서는 “잘못된 모델이 데이터를 얼마나 덜 그럴듯하게 보나”다. 핵심 성질 세 가지만 기억하...
Convex ? Concave f(x) is convex, iff f^{\prime\prime}(x)\geqslant0,\forall\mathrm{x}\in R f(x) is strictly convex, iff f^{\prime\prime}(x)>0,\forall\mathrm{x}\in R f(x) is...
Optimization Problem 최적화 문제 (Optimization problems) 란 여러개의 선택가능한 후보 중에서 최적의 해 (Optimal value) 또는 최적의 해에 근접한 값을 찾는 문제를 일컫는다.
Bound Optimization tight lowerbound LL(\boldsymbol{\theta}) , Q\left(\boldsymbol{\theta},\boldsymbol{\theta}^{t}\right)\leq LL(\boldsymbol{\theta})...
Global Minimum Global minimum 은 목적 함수 전체 영역에서 가장 작은 값을 가지는 지점이다. x^\ = \arg\min x f(x) 어떤 지점이 주변에서는 가장 작지만 전체에서는 더 작은 지점이 따로 있다면 local minimum 이다.
Newton-Raphson Method Newton’s method 라고 불리기도 하며, 실수 함수의 approximate 한 해를 빠르게 찾는 방법이다.
Mean Field Approximation variational inference 와 동일한 아이디어를 채택한 방식이다.
Lagrange Multiplier Method Method of finding a local maximum subject to constraints.
quasi-Newton Method Newton-Raphson method 대신 사용하는 방식으로, 주어진 함수들에 대한 로컬 maxima 또는 minima 를 찾는 방법이다.
Alternating Direction Method of Multipliers ADMM 은 원래의 convex 최적화 문제보다 최적화가 쉬운 부분문제로 분할하고 이를 취합함으로써 복잡한 원 문제를 해결하는 방식의 근사알고리즘이다.
BFGS BFGS 알고리즘은 Newton-Raphson method 의 장점을 취하면서 계산 비용을 줄인 방법이다. 이런 관점에서 BFGS 는 conjugate gradients 방식과 비슷하다. 뉴턴 방법의 업데이트는 아래와 같다.