커널

커널

커널(Kernel)은 두 입력 \(x\), \(z\)의 유사도를 측정하는 함수 \(K(x, z) = \langle \phi(x), \phi(z) \rangle\)이다. 명시적인 고차원 특징 공간 매핑 없이도 내적 계산이 가능하게 해주는 커널 트릭의 핵심 개념이다.

핵심

• 커널 함수는 양의 반정치(positive semi-definite)이어야 한다 (머서 정리)
• 대표적인 커널로는 선형 커널, 다항식 커널, 가우시안(RBF) 커널이 있다
• 커널 트릭을 통해 SVM을 비선형 분류에 적용할 수 있다
• 표현자 정리에 의해 최적 해는 훈련 데이터의 선형 결합으로 표현된다
• 커널 PCA, 가우시안 프로세스 등 다양한 알고리즘에 확장 적용된다

수식

\[K(x, z) = \phi(x)^T \phi(z)\]

가우시안 커널: \(K(x,z) = \exp\!\left(-\frac{\|x-z\|^2}{2\sigma^2}\right)\)