정규화

정규화

정규화(Regularization)는 모델의 과적합을 방지하기 위해 학습 목적 함수에 모델 복잡도에 대한 벌점(penalty) 항을 추가하는 기법이다. 매개변수를 작게 유지하도록 강제하여 일반화 성능을 향상시킨다.

핵심

• L2 정규화(Ridge): \(\lambda\|w\|^2\) 항 추가. 가중치를 0에 가깝게 축소
• L1 정규화(Lasso): \(\lambda\|w\|_1\) 항 추가. 희소 해(sparse solution) 유도
• Elastic Net: L1과 L2를 결합
• 정규화 강도 \(\lambda\)는 하이퍼파라미터로, 교차 검증으로 선택한다
• 베이즈 관점에서 L2 정규화는 가우시안 사전 분포를 가정한 MAP 추정과 동치이다

수식

L2 정규화: \(J(\theta) = \frac{1}{m}\sum_{i=1}^{m}\mathcal{L}(h_\theta(x^{(i)}), y^{(i)}) + \frac{\lambda}{2}\|\theta\|^2\)