Regression
회귀는 예측하는 함수를 만드는 것이다.
예측하려는 데이터의 종류가 numerical 또는 categorical data 에 따라서 사용하는 알고리즘이 달라진다.
- Numerical: linear regression
- Categorical: logistic regression
1 min read
회귀는 예측하는 함수를 만드는 것이다.
예측하려는 데이터의 종류가 numerical 또는 categorical data 에 따라서 사용하는 알고리즘이 달라진다.
Collinearity predictor variable 들이 완벽하거나 거의 완벽에 가까운 상관성을 갖는다고 할 때, regression 은 다중공선성 문제를 가지고 있다고 말할 수 있다. 회귀 분석에서는 다중공선성 문제가 사라질 때까지 변수를 제거해야 한다. 공선성이 문제가 되는 이유는 1) 회귀 모델에서 계산하는 추정 ...
D) 선형 분류기와의 비교 decision tree는 선형 분류기(e.g., logistic regression, linear SVM)와 비교했을 때, 별도의 데이터 정제(data cleaning)가 적게 들어가더라도 바로(out of box) 우수한 성능을 보이는 경우가 많습니다.
collinearity: 상호 연관된 예측 변수들을 사용하면 regression 계수의 부호와 값의 의미를 해석하기가 어려울 수 있다.
Gradient Boosting Machine Gradient Boosting Algorithm (GBM) 은 regression 또는 classification 을 수행할 수 있는 예측모형이며 예측모형의 ensemble 방법론 중 boosting 계열에 속하는 알고리즘 여러개의 weak models 을 조합해서 하...
For classification: 비교 대상이 되는 데이터 주변에 가장 가까이 존재하는 k 개의 데이터와 비교해 가장 가까운 데이터 종류로 판별한다. For regression: 비교 대상이 되는 데이터 주변에 가장 가까이 존재하는 k 개의 데이터의 값을 aggregate 한다 (e.g. mean).
...intwise Methods 각 document dᵢ 에 정의된 loss term 의 합을 계산하는 방식으로, loss 계산을 위해 yᵢ 와 sᵢ 의 차이 (거리) 정도를 계산한다. 이는 regression 문제와 비슷하다.
Probit Model probit model 은 regression 의 종류 중 하나로, 출력값 (dependent variable) 이 binary 형식을 띄는 모델을 의미한다. logistic regression 과 동일한 문제를 푸는것이며, GLM ...
Linear Regression Linear Regression 는 다음과 같은 형태의 모델을 의미한다 p(y\mid\boldsymbol{x},\boldsymbol{\theta})=\mathcal{N}\left(y\mid w...
Logistic Regression logistic regression model 은 classification 문제를 해결하는데 사용하는 모델이다.
Poisson Regression B) Related C) References en.wikipedia.org/wiki/Poisson regression .
Lasso Regression ridge regression 과 달리 L1-norm 을 regularization term 으로 사용하는 linear 모델이다.
Polynomial Regression polynomial functions of the predictors in the linear regression model B) Interaction Effect 그냥 단순히 변수들을 additive 하게 나열하는 것보다, 변수간 관계를 생각해서 섞는게 효과가 좋을 수 있다.
Weighted Least Squares variance 가 input 마다 다른 것 p(\boldsymbol{y}\mid\boldsymbol{x};\boldsymbol{\theta})=\mathcal{N}\left(\boldsymbol{y}\mid\mathbf{X}\boldsymbol{w},\boldsymbol{\...
Elastic Net ridge 과 lasso regression 을 합친 하이브리드 선형 모델 \mathcal{L}\left(\boldsymbol{w}, \lambda {1}, \lambda {2}\right)=\|\boldsymbol{y}-\mathbf{X} \boldsymbol{w}\|^{2}+\lambda...
Probit Model probit model 은 regression 의 종류 중 하나로, 출력값 (dependent variable) 이 binary 형식을 띄는 모델을 의미한다.
Collinearity predictor variable 들이 완벽하거나 거의 완벽에 가까운 상관성을 갖는다고 할 때, regression 은 다중공선성 문제를 가지고 있다고 말할 수 있다. 회귀 분석에서는 다중공선성 문제가 사라질 때까지 변수를 제거해야 한다.
Isotonic Regression B) Related C) References [ICR IARC, 2023] EDA and Submission | Kaggle.