Lightgbm1 11주차 : Bagging, Boosting - AdaBoost, GBM, XGBoost, LightGBM 1. 배깅(Bagging) ; Bootstrap Aggregation - 샘플을 여러 번 뽑아(복원 추출; bootstrap) 각 샘플 별로 모델을 학습시키고 결과물을 집계(Aggregation) - 장점 * 의사결정트리 모델은 depth가 깊어질수록 오버피팅이 심해져서 편향은 감소, 분산은 증가 → 배깅을 통해 tree 모델을 결합하면 낮아진 편향에서 전체 분산도 감소하여 오버피팅의 부작용을 줄일 수 있게 됨 - 과정 : (1) 여러 개의 weak learners를 만들어서 개별적으로 학습하고, 결과를 합쳐서 하나의 strong learner으로 만듦 (2) 범주형(categorial; 이진 분류 또는 다중분류를 위한) 데이터의 경우 보팅(voting) 방식으로 결과를 집계 * hard voting v.. 2021. 1. 4. 이전 1 다음
