Maximum Likelihood Estimation 에서 (conditional) log loss term 에 평균을 계산한 값
empirical 분포를 이용해 expected loss 를 계산했으므로 empirical risk minimization 이라고 부른다.
1 min read
Maximum Likelihood Estimation 에서 (conditional) log loss term ℓ(yn,θ;xn)=−logp(yn∣xn,θ) 에 평균을 계산한 값
L(θ)=N1n=1∑Nℓ(yn,θ;xn)empirical 분포를 이용해 expected loss 를 계산했으므로 empirical risk minimization 이라고 부른다.
MLE 모수적인 데이터 밀도 추정 방법으로써, 파라미터 \theta=\left(\theta {1},\cdots,\theta {m}\right) 으로 구성된 어떤 확률밀도함수 P(x\mid\theta) 에서 관측된 표본 데이터 집합을 x=\left(x {1},x {2},\cdots,x {n}\right) 이라 할...
간단한 모델에서는 p\left(z\mid x;\theta\right) 에 대한 analytical solution 이 존재하여 q(z)=p\left(z\mid x;\theta\right) 을 구하는 것이 tractable 했다.
최적화 문제 (Optimization problems) 란 여러개의 선택가능한 후보 중에서 최적의 해 (Optimal value) 또는 최적의 해에 근접한 값을 찾는 문제를 일컫는다.
Method of finding a local maximum subject to constraints.
variational inference 와 동일한 아이디어를 채택한 방식이다.
Jensen’s Inequality For a random variable x, if f(x) is convec (refer. convex function), then E[f(x)]>=f(E[x]).
ADMM 은 원래의 convex 최적화 문제보다 최적화가 쉬운 부분문제로 분할하고 이를 취합함으로써 복잡한 원 문제를 해결하는 방식의 근사알고리즘이다.
Early Stopping 전략이란 무엇인가 Early Stopping 은 overfitting 현상을 완화하는 방법으로, 학습을 하다가 일정 기준에 의해 학습을 중간에 멈추는 방법을 의미한다.
tight lowerbound LL(\boldsymbol{\theta}) , Q\left(\boldsymbol{\theta},\boldsymbol{\theta}^{t}\right)\leq LL(\boldsymbol{\theta})...
Global minimum 은 목적 함수 전체 영역에서 가장 작은 값을 가지는 지점이다. x^\ = \arg\min x f(x) 어떤 지점이 주변에서는 가장 작지만 전체에서는 더 작은 지점이 따로 있다면 local minimum 이다.