Lasso Regression

ridge regression 과 달리 L1-norm 을 regularization term 으로 사용하는 linear 모델이다.

i = 1 \sum n (y_{i} - β_{0} - j = 1 \sum p β_{j} x_{ij})^{2} + λ j = 1 \sum p ∣ β_{j} ∣ = RSS + λ j = 1 \sum p ∣ β_{j} ∣

주로 모델의 가중치 $\hat{w}$ 가 sparse 하기 원할 때 사용한다 (weight 의 일부가 완벽히 $0$ 이 되길 원하는 경우).

B) Application

$f (x; w) = \sum_{d = 1}^{D} w_{d} x_{d}$ 를 계산할 때, $w_{d} = 0$ 에 해당하는 feature $x_{d}$ 를 버리는 방향으로 진행하면 좋다.