슬랙 변수

슬랙 변수

슬랙 변수(Slack Variable) \(\xi_i \geq 0\)는 소프트 마진 SVM에서 각 훈련 포인트가 마진 제약 조건을 얼마나 위반하는지를 나타내는 변수이다. 노이즈가 있거나 선형 분리 불가능한 데이터에 SVM을 적용하기 위해 도입된다.

핵심

• \(\xi_i = 0\): 마진 밖에 올바르게 분류됨
• \(0 < \xi_i \leq 1\): 마진 내에 있지만 올바르게 분류됨
• \(\xi_i > 1\): 잘못 분류됨
• 목적 함수에 \(C\sum_i \xi_i\) 벌점 항을 추가하여 위반 허용과 마진 최대화를 균형 있게 처리한다
• 하이퍼파라미터 \(C\)가 클수록 마진 위반에 더 큰 벌점을 부과한다

수식

\[\min_{w,b,\xi} \frac{1}{2}\|w\|^2 + C\sum_{i=1}^{m}\xi_i\]

\[\text{s.t. } y^{(i)}(w^Tx^{(i)}+b) \geq 1-\xi_i, \quad \xi_i \geq 0\]