Zzong's Notes

boosting

2 min read

Boosting

여러개의 weak learner 가 만들어낸 결과를 조합해서 최종 결과를 만드는 방식으로, 오분류된 샘플에 더 많은 가중치를 주어 학습하는 순차적 과정이다.

A.1) 과정

  1. bagging 과 마찬가지로, 첫 모델을 만들 때 모든 sample 들에 대해 동일한 확률로 bootstrap sampling 을 수행한다.
  2. 그리고, 전체 학습 데이터 (training data) 를 이용해 model 을 평가하여 낮은 성능을 기록하는 sample 들을 찾아내어 기록한다.
  3. 이후, 다음 (두번째) 모델을 만들 때도 bootstrap sampling 을 수행하는데, 이때는 기록된 sample 들이 뽑힐 확률이 더 높게 설정한다.
  4. 그리고, (2) 와 마찬가지로 전체 학습 데이터를 이용해 model 을 평가하는데, 이때는 (bagging 과 똑같이) 전체 모델의 결과를 aggregate 하여 평가를 진행하고, 낮은 성능을 기록하는 sample 들을 찾아내어 기록한다.
  5. 이후, 다음 (세번째) 모델부터는 (3), (4) 의 과정을 반복한다.

B) Boosting Algorithms

대표적으로 GBM 알고리즘이 존재한다.

C) 특징

D) Related

bootstrap

E) References

링크된 언급

6
AdaBoost

AdaBoost AdaBoot 는 1996 년에 처음 제안된 boosting 알고리즘이다. 이 알고리즘은 classification 문제를 해결하는데 초점이 맞춰졌으며, 여러 weak 분류기를 strong 분류기 하나로 변환하는 작업에 목적을 둔다. AdaBoost...

bagging

...re A.2) 특징 부트스트랩 데이터를 활용하여 학습하다보니 서로 상관관계가 낮은 모델이 생성되고, 이것들을 이용하여 최종 예측을 계산하므로 variance 를 줄일 수 있다. B) Vs. Boosting bagging 은 boosting 에 비해 구조의 단순성 때문에 정확도가 상대적으로 낮은 편이다. variance 를 낮추는 전략으로 인해 overfitting 에 robust 한 편이다....

ensemble

...e 기계 학습 모델의 예측 결과를 서로 합치는 방식을 의미 추천시스템의 경우 MAB 를 통해서도 추천 결과를 앙상블 할 수 있다. B) Related bagging random forest boosting Gradient Boosting Machine C) References

Extreme Gradient Boosting

Extreme Gradient Boosting XGBoost is another popular boosting algorithm, and XGBoost is simply an improvised version of the GBM alg...

Gradient Boosting Machine

Gradient Boosting Machine Gradient Boosting Algorithm (GBM) 은 regression 또는 classification 을 수행할 수 있는 예측모형이며 예측모형의 ensemble...

LightGBM

...munication overhead 없이 클러스터에서 분산 학습이 가능하다. Performance: LightGBM 은 노드를 나눌때 greedy 방식을 사용하기 때문에 성능이 좋다. E) Boosting Methods 크게 GBDT, DART, 그리고 GOSS 가 있다. F) Lesson Learned lgb.LGBMClassifier 클래스로 분류 모델 학습 가능. 이 경우 lgb.Dat...