ridge 과 lasso regression 을 합친 하이브리드 선형 모델
위 함수는 를 가정했을 때, 가 full rank 가 아니여도 strictly convex 하다. 즉, unique global minimum 이 존재한다.
1 min read
ridge 과 lasso regression 을 합친 하이브리드 선형 모델
L(w,λ1,λ2)=∥y−Xw∥2+λ2∥w∥22+λ1∥w∥1위 함수는 λ2>0 를 가정했을 때, X 가 full rank 가 아니여도 strictly convex 하다. 즉, unique global minimum 이 존재한다.
Related elastic net
..., 계수는 0 에 가까워지되 정확히 0 이 되지는 않는다. 그래서 변수 선택이 목적이면 lasso, 상관된 변수들의 계수를 고르게 나눠 갖게 하려면 ridge 를 쓴다. 둘을 섞은 것이 elastic net 이다. 변수마다 단위가 다르면 벌점이 불공평하게 걸리므로, 적합 전에 설명변수를 표준화한다.
Linear Regression with Regularization ridge regression & lasso regression (당연히 elastic net 도 포함하여), 이들은 scale invariant 하지 않다. L0-regularization regression 의 경우는 scale invariant 하다. PCA PCA 는 sc...
ridge regression 과 달리 L1-norm 을 regularization term 으로 사용하는 linear 모델이다.
linear regression 의 손실에 계수 크기에 대한 벌점을 더한 모델이다. 벌점으로 계수 제곱합, 즉 L2-norm 의 제곱을 쓴다.
기계 학습 방식에서 scale invariant 란, feature 들을 rescaling 하는 경우에도 prediction 에 영향을 주지 않는 특성을 의미한다. 여기서 rescaling 이란 각 column 에 서로 다른 non-zero 값을 곱하는 것을 의미한다.
variance 가 input 마다 다른 것 p(\boldsymbol{y}\mid\boldsymbol{x};\boldsymbol{\theta})=\mathcal{N}\left(\boldsymbol{y}\mid\mathbf{X}\boldsymbol{w},\boldsymbol{\Lambda}^{-1}\right)...
feature vector x\in\mathbb{R}^{d} 가 주어졌을 때 observation Y 는 평균이 \mu\left(x^{\top}\theta\right) 인 exponential family 분포를 따른다.
linear model 을 학습하는 방법 중 하나로, 계수 추정에 제약을 줘서 계수가 0 으로 shrink 하도록 유도하는 학습 방법이다. II. Related ridge regression lasso regression .
회귀는 예측하는 함수를 만드는 것이다. 예측하려는 데이터의 종류가 numerical 또는 categorical data 에 따라서 사용하는 알고리즘이 달라진다.
linear regression 에서 Y=\beta {0}+X {1}\beta {1}+\cdots+X {p}\beta {p}+\epsilon 여기서 에러 \epsilon 를 의미한다.
Linear Regression 는 다음과 같은 형태의 모델을 의미한다 p(y\mid\boldsymbol{x},\boldsymbol{\theta})=\mathcal{N}\left(y\mid w {0}+\boldsymbol{w}^{\top}\boldsymbol{x},\sigma^{2}\right) 여기서...
OLS MSE 를 cost function 으로 가지는 선형 회귀 모델에 대한 closed form solution 다음과 같은 선형 회귀 모델에 대한 RSS 가 있다고 해보자.