gradient boosting decision trees for prediction tasks
1 min read
gradient boosting decision trees for prediction tasks
LambdaMART의 장점
Gradient Boosting Algorithm (GBM) 은 regression 또는 classification 을 수행할 수 있는 예측모형이며 예측모형의 ensemble 방법론 중 boosting 계열에 속하는 알고리즘 여러개의 weak models 을 조합해서 하나의 결과를 만든다.
여러개의 weak learner 가 만들어낸 결과를 조합해서 최종 결과를 만드는 방식으로, 오분류된 샘플에 더 많은 가중치를 주어 학습하는 순차적 과정이다.
XGBoost is another popular boosting algorithm, and XGBoost is simply an improvised version of the GBM algorithm. Vs.
AdaBoot 는 1996 년에 처음 제안된 boosting 알고리즘이다. 이 알고리즘은 classification 문제를 해결하는데 초점이 맞춰졌으며, 여러 weak 분류기를 strong 분류기 하나로 변환하는 작업에 목적을 둔다.
분류 및 회귀 문제를 위해서, 여러 bootstrapping 샘플을 가지고 독립적인 모델 (e.g. Decision Tree) 들을 여러개 만든 다음 각 모델에서 나온 예측값을 평균 (분류 문제에서는 과반수 투표) 내는 것을 방식을 의미한다.
Soft Voting 다른말로 Probability Voting 로 불리며, 각 class 별로 모델들이 예측한 probability 를 합산해서 가장 높은 class 를 선택하면 됩니다.
What is the CatBoost CatBoost is a boosting algorithm that can handle categorical variables in the data.
Decision Tree란 Decision Trees(DT, 의사결정나무)는 비모수(non-parametric)적인 supervised learning 방법으로, 주로 classification과 regression 문제에 사용됩니다.
LambdaMART란 MART 모델은 NDCG와 같은 평가 지표를 최적화하는 데 사용되는 머신러닝 기법입니다.
랜덤 포레스트는 결정 트리와 다르며, 결정 트리가 모여서 만들어진 숲(Forest) 같은 모델이라고 생각하시면 쉽습니다. 결정 트리 (Decision Tree) 란 결정 트리는 이름 그대로 ‘의사 결정 규칙’을 나무(Tree) 구조로 도식화한 모델입니다.