XGBoost

XGBoost

XGBoost(eXtreme Gradient Boosting)는 그래디언트 부스팅을 효율적으로 구현한 라이브러리로, 정규화 항 추가, 병렬 트리 구성, 가지치기 전략 개선 등을 통해 속도와 예측 성능을 크게 향상시켰다.

핵심

• 손실 함수를 2차 테일러 전개로 근사하여 더 정확한 분할 기준을 계산한다
• L1, L2 정규화 항을 목적 함수에 직접 추가하여 과적합을 방지한다
• 병렬 특징 정렬과 희소 데이터 처리로 훈련 속도가 빠르다
• 결측값을 자동으로 처리하는 기능이 있다
• 캐글(Kaggle) 머신러닝 대회에서 오랫동안 최강 알고리즘으로 군림했다