Weighted Least Squares
- variance 가 input 마다 다른 것
- where
- weighted least squares estimate
- (MLE 를 사용)
- 예시) heteroskedastic regression
1 min read
B) Related NLL, ordinary least squares, weighted least squares C) References
Least Squares Estimation least squares estimation 이란 주어진 데이터의 선형 모델을 풀기 위한 접근 방식들의 통칭을 의미한다.
Lasso Regression ridge regression 과 달리 L1-norm 을 regularization term 으로 사용하는 linear 모델이다.
Elastic Net ridge 과 lasso regression 을 합친 하이브리드 선형 모델 \mathcal{L}\left(\boldsymbol{w}, \lambda {1}, \lambda {2}\right)=\|\boldsymbol{y}-\mathbf{X} \boldsymbol{w}\|^{2}+\lambda...
Mean Squared Error MSE of the estimates \begin{aligned}\operatorname{MSE}&=\mathbb{E}\left[\left(\hat{\theta}...
Generalized Linear Model feature vector x\in\mathbb{R}^{d} 가 주어졌을 때 observation Y 는 평균이 \mu\left(x^{\top}\theta\right) 인 exponential family 분포를 따른다.
Regularization Regularization 은 overfitting 문제를 완화하기 위한 방법이다.
OLS MSE 를 cost function 으로 가지는 선형 회귀 모델에 대한 closed form solution 다음과 같은 선형 회귀 모델에 대한 RSS 가 있다고 해보자.
Shrinkage Method linear model 을 학습하는 방법 중 하나로, 계수 추정에 제약을 줘서 계수가 0 으로 shrink 하도록 유도하는 학습 방법이다. II. Related ridge regression lasso regression III.
Linear Regression Linear Regression 는 다음과 같은 형태의 모델을 의미한다 p(y\mid\boldsymbol{x},\boldsymbol{\theta})=\mathcal{N}\left(y\mid w...
Regression 회귀는 예측하는 함수를 만드는 것이다. 예측하려는 데이터의 종류가 numerical 또는 categorical data 에 따라서 사용하는 알고리즘이 달라진다.