편향-분산 트레이드오프

편향-분산 트레이드오프

편향-분산 트레이드오프(Bias-Variance Tradeoff)는 머신러닝 모델의 예측 오류가 편향(bias), 분산(variance), 불가피한 노이즈 세 요소로 분해되며, 편향을 낮추면 분산이 높아지고 그 반대도 마찬가지인 관계이다.

핵심

• 편향(Bias): 모델의 평균 예측과 실제 값의 차이. 모델이 너무 단순하면 과소적합(underfitting)
• 분산(Variance): 훈련 데이터 변화에 따른 예측의 변동성. 모델이 너무 복잡하면 과적합(overfitting)
• 총 예측 오류 = 편향² + 분산 + 노이즈
• 과소적합은 편향이 높고, 과적합은 분산이 높다
• 적절한 모델 복잡도 선택, 정규화, 교차 검증으로 균형을 맞춘다

수식

\[\mathbb{E}[(y - \hat{f}(x))^2] = \text{Bias}[\hat{f}(x)]^2 + \text{Var}[\hat{f}(x)] + \sigma^2\]