표현자 정리

표현자 정리

표현자 정리(Representer Theorem)는 정규화 항이 있는 손실 최소화 문제에서 최적 해 \(w^*\)가 항상 훈련 데이터 \(\phi(x^{(1)}), \ldots, \phi(x^{(m)})\)의 선형 결합으로 표현된다는 정리이다.

핵심

• \(w^* = \sum_{i=1}^{m} \alpha_i \phi(x^{(i)})\) 형태로 최적해가 표현된다
• 고차원 특징 공간에서도 원래 데이터의 개수만큼의 매개변수만 필요하다
• SVM의 이중 문제 유도와 커널 트릭 적용의 이론적 근거가 된다
• 커널 방법 전반에 걸쳐 적용 가능한 일반적인 결과이다
• 학습 문제를 원래 특징 공간이 아닌 훈련 데이터 공간에서 풀 수 있게 해준다

수식

\[w^* = \sum_{i=1}^{m} \alpha_i \phi(x^{(i)})\]