Empirical risk Minimization

Maximum Likelihood Estimation 에서 (conditional) log loss term $\ell \left({\mathbf{y}}_n,\mathbf{\theta };{\mathbf{x}}_n\right)=-\log p\left({\mathbf{y}}_n\mid {\mathbf{x}}_n,\mathbf{\theta }\right)$ 에 평균을 계산한 값

$$\mathcal{L}(\mathbf{\theta })=\frac{1}{N}\sum _{n=1}^N\ell \left({\mathbf{y}}_n,\mathbf{\theta };{\mathbf{x}}_n\right)$$

empirical 분포를 이용해 expected loss 를 계산했으므로 empirical risk minimization 이라고 부른다.

Related

References