Zzong's Notes

bagging

2 min read

Bagging

분류 및 회귀 문제를 위해서, 여러 bootstrapping 샘플을 가지고 독립적인 모델 (e.g. Decision Tree) 들을 여러개 만든 다음 각 모델에서 나온 예측값을 평균 (분류 문제에서는 과반수 투표) 내는 것을 방식을 의미한다.

A.1) Figure

A.2) 특징

부트스트랩 데이터를 활용하여 학습하다보니 서로 상관관계가 낮은 모델이 생성되고, 이것들을 이용하여 최종 예측을 계산하므로 variance 를 줄일 수 있다.

B) Vs. Boosting

  • bagging 은 boosting 에 비해 구조의 단순성 때문에 정확도가 상대적으로 낮은 편이다.
  • variance 를 낮추는 전략으로 인해 overfitting 에 robust 한 편이다.

C) Bagging Model

random forest 는 feature selection 주로 사용된다.

D) Related

E) References

링크된 언급

5
boosting

Boosting 여러개의 weak learner 가 만들어낸 결과를 조합해서 최종 결과를 만드는 방식으로, 오분류된 샘플에 더 많은 가중치를 주어 학습하는 순차적 과정이다. A.1) 과정 bagging 과 마찬가지로, 첫 모델을 만들 때 모든 sample 들에 대해 동일한 확률로 bootstrap sampling 을 수행한다. 그리고, 전체 학습 데이터 (training data) 를 이...

bootstrapping

...불가능하다. 많은 Reinforcement Learning 방법은 DP 에서 요구되는 완전하고 정확한 환경 모델 (MDP) 없이도 bootstrapping 을 수행한다. D) Related bagging

ensemble

Ensemble 기계 학습 모델의 예측 결과를 서로 합치는 방식을 의미 추천시스템의 경우 MAB 를 통해서도 추천 결과를 앙상블 할 수 있다. B) Related bagging random forest boosting Gradient Boosting Machine C) References

LightGBM

...원리가 같습니다. J.1.2) 결정적인 차이점들 J.1.2.1) 트리 생성 방식: 독립 vs. 직렬 Random Forest (랜덤 포레스트): 독립적인 수백 개의 트리를 만듭니다 (배깅, bagging). 각 트리는 전체 데이터의 일부(부트스트랩 샘플)와 전체 피처의 일부만 보고 독립적으로 학습합니다. 중요도에 미치는 영향: “민주적인” 방식입니다. 특정 피처가 우연히 한 트리에서 높게 ...

random forest

...원리를 이용하는 것과 같습니다. 랜덤 포레스트의 핵심은 이름에 있는 ‘랜덤(Random)‘ 에 있습니다. 두 가지 랜덤 과정을 통해 다양한 트리들을 만듭니다. 데이터의 무작위 선택 (배깅, Bagging): 원본 훈련 데이터에서 무작위로 데이터를 샘플링하여 여러 개의 서브 데이터셋을 만듭니다. 각 트리는 이 서로 다른 데이터셋으로 학습합니다. 특징(Feature)의 무작위 선택: 각 트리의...