Lasso Regression
ridge regression 과 달리 L1-norm 을 regularization term 으로 사용하는 linear 모델이다.
주로 모델의 가중치 가 sparse 하기 원할 때 사용한다 (weight 의 일부가 완벽히 이 되길 원하는 경우).
B) Application
B.1) Feature Selection
를 계산할 때, 에 해당하는 feature 를 버리는 방향으로 진행하면 좋다.
1 min read
ridge regression 과 달리 L1-norm 을 regularization term 으로 사용하는 linear 모델이다.
i=1∑n(yi−β0−j=1∑pβjxij)2+λj=1∑p∣βj∣=RSS+λj=1∑p∣βj∣주로 모델의 가중치 w^ 가 sparse 하기 원할 때 사용한다 (weight 의 일부가 완벽히 0 이 되길 원하는 경우).
f(x;w)=∑d=1Dwdxd 를 계산할 때, wd=0 에 해당하는 feature xd 를 버리는 방향으로 진행하면 좋다.
Elastic Net ridge 과 lasso regression 을 합친 하이브리드 선형 모델
Linear Regression with Regularization ridge regression & lasso regression (당연히 elastic net 도 포함하여), 이들은 scale invariant 하지 않다. L0-regularization regression 의 경우는 scale invaria...
ridge regression lasso regression
Elastic Net ridge 과 lasso regression 을 합친 하이브리드 선형 모델 \mathcal{L}\left(\boldsymbol{w}, \lambda {1}, \lambda {2}\right)=\|\boldsymbol{y}-\mathbf{X} \boldsymbol{w}\|^{2}+\lambda...
Shrinkage Method linear model 을 학습하는 방법 중 하나로, 계수 추정에 제약을 줘서 계수가 0 으로 shrink 하도록 유도하는 학습 방법이다. II. Related ridge regression lasso regression III.
Scale Invariant 기계 학습 방식에서 scale invariant 란, feature 들을 rescaling 하는 경우에도 prediction 에 영향을 주지 않는 특성을 의미한다.
Weighted Least Squares variance 가 input 마다 다른 것 p(\boldsymbol{y}\mid\boldsymbol{x};\boldsymbol{\theta})=\mathcal{N}\left(\boldsymbol{y}\mid\mathbf{X}\boldsymbol{w},\boldsymbol{\...
Regularization Regularization 은 overfitting 문제를 완화하기 위한 방법이다.
Least Squares Estimation least squares estimation 이란 주어진 데이터의 선형 모델을 풀기 위한 접근 방식들의 통칭을 의미한다.
Generalized Linear Model feature vector x\in\mathbb{R}^{d} 가 주어졌을 때 observation Y 는 평균이 \mu\left(x^{\top}\theta\right) 인 exponential family 분포를 따른다.
Mean Squared Error MSE of the estimates \begin{aligned}\operatorname{MSE}&=\mathbb{E}\left[\left(\hat{\theta}...
Regression 회귀는 예측하는 함수를 만드는 것이다. 예측하려는 데이터의 종류가 numerical 또는 categorical data 에 따라서 사용하는 알고리즘이 달라진다.