그래디언트 부스팅

그래디언트 부스팅

그래디언트 부스팅(Gradient Boosting)은 현재 앙상블 모델의 예측 잔차(손실 함수의 음의 그래디언트)를 새 약학습기의 타겟으로 삼아 순차적으로 모델을 추가하는 부스팅 알고리즘이다.

핵심

• 함수 공간에서의 경사 하강법으로 해석할 수 있다
• 트리를 약학습기로 사용할 때 가장 널리 활용된다
• 학습률(learning rate)과 트리 수의 균형이 중요하다
• 다양한 손실 함수(MSE, MAE, 로그 손실 등)에 적용 가능하다
• XGBoost, LightGBM, CatBoost 등이 대표적인 구현체이다

수식

\[F_m(x) = F_{m-1}(x) + \eta \cdot h_m(x)\]

여기서 \(h_m\)은 잔차 \(-\nabla_F \mathcal{L}\)을 타겟으로 학습된 트리이다.