부스팅

부스팅

부스팅(Boosting)은 약한 학습기(weak learner)를 순차적으로 훈련하되, 각 단계에서 이전 모델이 잘못 예측한 샘플에 더 높은 가중치를 부여하거나 잔차를 타겟으로 삼아 점진적으로 성능을 향상시키는 앙상블 방법이다.

핵심

• 순차적으로 모델을 추가하여 이전 모델의 약점을 보완한다
• AdaBoost: 오분류 샘플의 가중치를 높여 다음 모델에 전달
• 그래디언트 부스팅: 잔차(의사 잔차)를 타겟으로 순차 학습
• 배깅보다 편향을 더 효과적으로 줄일 수 있다
• 순차 학습이므로 배깅과 달리 병렬화가 어렵다