Maximum Likelihood Estimation 에서 (conditional) log loss term 에 평균을 계산한 값
empirical 분포를 이용해 expected loss 를 계산했으므로 empirical risk minimization 이라고 부른다.
Maximum Likelihood Estimation 에서 (conditional) log loss term ℓ(yn,θ;xn)=−logp(yn∣xn,θ) 에 평균을 계산한 값
L(θ)=N1n=1∑Nℓ(yn,θ;xn)empirical 분포를 이용해 expected loss 를 계산했으므로 empirical risk minimization 이라고 부른다.
...은 새 데이터에서 똑같이 반복되지 않으므로, 외운 만큼이 그대로 새 데이터에서의 오차가 된다. 학습 알고리즘이 실제로 최소화하는 것은 학습 데이터에서의 평균 loss 다 (empirical risk minimization). 우리가 원하는 것은 학습 데이터와 같은 분포에서 앞으로 들어올 데이터에서의 성능이고, 이를 일반화(generalization) 성능이라고 한다. 학습 오차는 일반화 오...
모수적인 데이터 밀도 추정 방법으로써, 파라미터 \theta=\left(\theta_{1},\cdots,\theta_{m}\right) 으로 구성된 어떤 확률밀도함수 P(x\mid\theta) 에서 관측된 표본 데이터 집합을 x=\left(x_{1},x_{2},\cdots,x_{n}\right) 이라 할 때, 이 표본들에서 파라미터 \theta=\left(\theta_{1},\cdots,\theta_{m}\right) 를 추정하는 방법이다.
Overfitting(과적합)은 모델이 학습 데이터를 지나치게 잘 맞춘 나머지, 새 데이터에서는 오히려 성능이 떨어지는 상태다.
간단한 모델에서는 p\left(z\mid x;\theta\right) 에 대한 analytical solution 이 존재하여 q(z)=p\left(z\mid x;\theta\right) 을 구하는 것이 tractable 했다. 대신, x 가 주어졌을 때, latent variables 의 집합이 나머지 latent variables 에 대하여 독립임을 가정하면...
최적화 문제 (Optimization problems) 란 여러개의 선택가능한 후보 중에서 최적의 해 (Optimal value) 또는 최적의 해에 근접한 값을 찾는 문제를 일컫는다.
For a random variable x, if f(x) is convec (refer. convex function), then E[f(x)]>=f(E[x]).
Method of finding a local maximum subject to constraints. Maximize f(x,y) and subject to g(x,y)=c (constraint) Assuming that f and g have continuous partial derivatives. Lagrange...
Global minimum 은 목적 함수 전체 영역에서 가장 작은 값을 가지는 지점이다.
Early Stopping 은 overfitting 현상을 완화하는 방법으로, 학습을 하다가 일정 기준에 의해 학습을 중간에 멈추는 방법을 의미한다.
ADMM 은 원래의 convex 최적화 문제보다 최적화가 쉬운 부분문제로 분할하고 이를 취합함으로써 복잡한 원 문제를 해결하는 방식의 근사알고리즘이다.
tight lowerbound LL(\boldsymbol{\theta}) ,