- variance 가 input 마다 다른 것
- where
- weighted least squares estimate
- (MLE 를 사용)
- 예시) heteroskedastic regression
1 min read
Related NLL, ordinary least squares, weighted least squares
ridge regression 과 달리 L1-norm 을 regularization term 으로 사용하는 linear 모델이다.
ridge 과 lasso regression 을 합친 하이브리드 선형 모델 \mathcal{L}\left(\boldsymbol{w}, \lambda {1}, \lambda {2}\right)=\|\boldsymbol{y}-\mathbf{X} \boldsymbol{w}\|^{2}+\lambda...
least squares estimation 이란 주어진 데이터의 선형 모델을 풀기 위한 접근 방식들의 통칭을 의미한다.
feature vector x\in\mathbb{R}^{d} 가 주어졌을 때 observation Y 는 평균이 \mu\left(x^{\top}\theta\right) 인 exponential family 분포를 따른다.
Linear Regression 는 다음과 같은 형태의 모델을 의미한다 p(y\mid\boldsymbol{x},\boldsymbol{\theta})=\mathcal{N}\left(y\mid w {0}+\boldsymbol{w}^{\top}\boldsymbol{x},\sigma^{2}\right) 여기서...
OLS MSE 를 cost function 으로 가지는 선형 회귀 모델에 대한 closed form solution 다음과 같은 선형 회귀 모델에 대한 RSS 가 있다고 해보자.
linear model 을 학습하는 방법 중 하나로, 계수 추정에 제약을 줘서 계수가 0 으로 shrink 하도록 유도하는 학습 방법이다. II. Related ridge regression lasso regression .
회귀는 예측하는 함수를 만드는 것이다. 예측하려는 데이터의 종류가 numerical 또는 categorical data 에 따라서 사용하는 알고리즘이 달라진다.
linear regression 에서 Y=\beta {0}+X {1}\beta {1}+\cdots+X {p}\beta {p}+\epsilon 여기서 에러 \epsilon 를 의미한다.
MSE of the estimates \begin{aligned}\operatorname{MSE}&=\mathbb{E}\left[\left(\hat{\theta} {m}-\theta\right)^{2}\right]=\operatorname{Bias}\left(\hat{\theta}...