ridge regression 과 달리 L1-norm 을 regularization term 으로 사용하는 linear 모델이다.
주로 모델의 가중치 가 sparse 하기 원할 때 사용한다 (weight 의 일부가 완벽히 이 되길 원하는 경우).
Application
Feature Selection
를 계산할 때, 에 해당하는 feature 를 버리는 방향으로 진행하면 좋다.
1 min read
ridge regression 과 달리 L1-norm 을 regularization term 으로 사용하는 linear 모델이다.
i=1∑n(yi−β0−j=1∑pβjxij)2+λj=1∑p∣βj∣=RSS+λj=1∑p∣βj∣주로 모델의 가중치 w^ 가 sparse 하기 원할 때 사용한다 (weight 의 일부가 완벽히 0 이 되길 원하는 경우).
f(x;w)=∑d=1Dwdxd 를 계산할 때, wd=0 에 해당하는 feature xd 를 버리는 방향으로 진행하면 좋다.
ridge 과 lasso regression 을 합친 하이브리드 선형 모델
Manhattan Norm은 vector 성분의 절댓값 합으로 정의되는 norm이다. 보통 L₁ norm이라고도 부른다. Euclidean Norm과의 차이 Euclidean distance가 직선 거리를 재는 느낌이라면, Manhattan Norm은 격자 위에서 가로와 세로로만 이동한 거리처럼 계산한다. 그래서 sparse solution을 유도하는 Lasso regularization에서...
... 조금 치우치지만, 데이터가 바뀔 때 계수가 흔들리는 정도가 크게 줄어든다. λ 를 고르는 일은 이 둘 사이의 절충점을 찾는 것이고, 보통 교차검증으로 정한다. Lasso 와의 차이 lasso regression 은 같은 자리에 계수 절댓값의 합(L1-norm)을 쓴다. 제약 영역의 모양이 달라서 결과가 갈린다. L1 의 제약 영역은 축 위에 뾰족한 꼭짓점이 있어 해가 그 꼭짓점에 걸리기 쉽...
Linear Regression with Regularization ridge regression & lasso regression (당연히 elastic net 도 포함하여), 이들은 scale invariant 하지 않다. L0-regularization regression 의 경우는 scale invaria...
ridge regression lasso regression
ridge 과 lasso regression 을 합친 하이브리드 선형 모델 \mathcal{L}\left(\boldsymbol{w}, \lambda {1}, \lambda {2}\right)=\|\boldsymbol{y}-\mathbf{X} \boldsymbol{w}\|^{2}+\lambda...
linear model 을 학습하는 방법 중 하나로, 계수 추정에 제약을 줘서 계수가 0 으로 shrink 하도록 유도하는 학습 방법이다. II. Related ridge regression lasso regression .
linear regression 의 손실에 계수 크기에 대한 벌점을 더한 모델이다. 벌점으로 계수 제곱합, 즉 L2-norm 의 제곱을 쓴다.
기계 학습 방식에서 scale invariant 란, feature 들을 rescaling 하는 경우에도 prediction 에 영향을 주지 않는 특성을 의미한다. 여기서 rescaling 이란 각 column 에 서로 다른 non-zero 값을 곱하는 것을 의미한다.
variance 가 input 마다 다른 것 p(\boldsymbol{y}\mid\boldsymbol{x};\boldsymbol{\theta})=\mathcal{N}\left(\boldsymbol{y}\mid\mathbf{X}\boldsymbol{w},\boldsymbol{\Lambda}^{-1}\right)...
feature vector x\in\mathbb{R}^{d} 가 주어졌을 때 observation Y 는 평균이 \mu\left(x^{\top}\theta\right) 인 exponential family 분포를 따른다.
Regularization 은 overfitting 문제를 완화하기 위한 방법이다.
회귀는 예측하는 함수를 만드는 것이다. 예측하려는 데이터의 종류가 numerical 또는 categorical data 에 따라서 사용하는 알고리즘이 달라진다.
norm V 이란, 벡터 공간에 존재하는 벡터의 크기를 측정하기 위한 함수를 의미한다.
Linear Regression 는 다음과 같은 형태의 모델을 의미한다 p(y\mid\boldsymbol{x},\boldsymbol{\theta})=\mathcal{N}\left(y\mid w {0}+\boldsymbol{w}^{\top}\boldsymbol{x},\sigma^{2}\right) 여기서...