Extreme Gradient Boosting

XGBoost is another popular boosting algorithm, and XGBoost is simply an improvised version of the GBM algorithm.

B) Vs. GBM

B.1) 차이점

노드 레벨에서 병렬 전처리를 수행하기 때문에 GBM 보다는 훨씬 빠르게 학습한다.

overfitting 방지와 전반적인 performance 향상을 위해 다양한 regularization 방식들이 차별적으로 적용되어 있다.
missing value 들을 스스로 처리함

공통점

Sequential learning
Trying to correct the errors of the previous trees

C) Hyperparameter Tuning

scale_pos_weight ?

xgb.XGBClassifier(max_depth = 2, n_estimators = 95, random_state = 73, scale_pos_weight = 4.71)

E) References

링크된 언급

3

CatBoost vs. LightGBM vs. XGBoost 여러 gradient boosting 알고리즘들이 있는데 이 중에서 뭘 선택해야 하는가? 아래는 CatBoost, LightGBM, XGBoost 이 세개의 알고리즘을 비교한 테이블이다. ...

Gradient Boosting Machine

...웨어 효율적으로 구현하는 것이 필요하다. 아래 패키지들은 모두 GBM 을 효율적으로 구현하려고한 Python 패키지들이라고 볼 수 있다. 즉, GBM 의 variants 라고 볼 수 있다. XGBoost LightGBM CatBoost F) GBM Vs other ML Methods 왜 GBM 은 다른 ML 방식 대비 강점이 있는가? 특히 Kaggle 과 같은 ML 대회에서 왜 잘 먹히는가...

Hyperparameter tuning(GBM)

...[CV 0.18] | Kaggle). scale pos weight: positive class 의 가중치 weight 이것도 is unbalance 와 비슷한 부작용이 있다고 한다. B) XGBoost learning rate max depth colsample bytree subsample eta gamma scale pos weight : 클래스 데이터 불균형 관찰시 사용하는 파라매터...