교차 엔트로피

교차 엔트로피

교차 엔트로피(Cross-Entropy)는 실제 분포 \(p\)와 모델이 예측한 분포 \(q\) 사이의 차이를 측정하는 함수로, 분류 문제의 손실 함수로 가장 널리 사용된다.

핵심

• 이진 교차 엔트로피: \(-[y\log\hat{y} + (1-y)\log(1-\hat{y})]\)
• 다중 클래스 교차 엔트로피: \(-\sum_{c=1}^{C} y_c \log \hat{y}_c\)
• 로지스틱 회귀의 음의 로그 우도와 동치이다
• 소프트맥스 출력과 함께 사용하면 역전파 시 그래디언트 계산이 단순해진다
• 예측 확률이 정답에 가까울수록 손실이 0에 수렴한다

수식

\[H(p, q) = -\sum_x p(x) \log q(x)\]

이진 분류: \(\mathcal{L} = -\frac{1}{m}\sum_{i=1}^{m}\left[y^{(i)}\log\hat{y}^{(i)} + (1-y^{(i)})\log(1-\hat{y}^{(i)})\right]\)