Least Squares Estimation

least squares estimation 이란 주어진 데이터의 선형 모델을 풀기 위한 접근 방식들의 통칭을 의미한다.

linear regression 모델을 데이터에 맞추기 위해서, 학습 데이터에 대한 negative log likelihood 값을 최소화 해야한다.

최소화하는 목적 함수는 다음과 같다

$$\begin{array}{rl}\mathrm{NLL}\left(\mathbf{w},{\sigma }^2\right)& =-\sum _{n=1}^N\log \left[{\left(\frac{1}{2\pi {\sigma }^2}\right)}^{\frac{1}{2}}\exp \left(-\frac{1}{2{\sigma }^2}{\left(y_n-{\mathbf{w}}^{\top }{\mathbf{x}}_n\right)}^2\right)\right]\\ & =\frac{1}{2{\sigma }^2}\sum _{n=1}^N{\left(y_n-{\hat{y}}_n\right)}^2+\frac{N}{2}\log \left(2\pi {\sigma }^2\right)\end{array}$$

• the predicted response: ${\hat{y}}_n\triangleq {\mathbf{w}}^{\top }{\mathbf{x}}_r$

${\nabla }_{\mathbf{w},\sigma }\mathrm{NLL}\left(\mathbf{w},{\sigma }^2\right)=0$ 를 만족하는 Maximum Likelihood Estimation point 를 찾으면 $\mathbf{w}$ 에 대해서 최적화를 수행하게 되는데, 이것은 residual sum of squares 와 같다.

$$\mathrm{RSS}(\mathbf{w})=\frac{1}{2}\sum _{n=1}^N{\left(y_n-{\mathbf{w}}^{\top }{\mathbf{x}}_n\right)}^2=\frac{1}{2}\Vert \mathbf{X}\mathbf{w}-\mathbf{y}{\Vert }_2^2=\frac{1}{2}(\mathbf{X}\mathbf{w}-\mathbf{y}{)}^{\top }(\mathbf{X}\mathbf{w}-\mathbf{y})$$

B) Related

NLL, ordinary least squares, weighted least squares

C) References