소프트맥스 회귀

소프트맥스 회귀

소프트맥스 회귀(Softmax Regression)는 로지스틱 회귀를 \(k\)개의 클래스를 가진 다중 클래스 분류로 확장한 알고리즘이다. 다항 로지스틱 회귀(multinomial logistic regression)라고도 한다.

핵심

• 소프트맥스 함수로 각 클래스에 대한 확률 분포를 출력한다: \(P(y=j|x) = \frac{e^{\theta_j^T x}}{\sum_{k=1}^{K} e^{\theta_k^T x}}\)
• 출력값의 합이 항상 1이 되므로 확률 해석이 가능하다
• 다항 분포(multinomial distribution)를 가정한 GLM의 특수 경우이다
• 교차 엔트로피 손실로 훈련하며, 신경망의 출력층에 표준적으로 사용된다
• \(k=2\)일 때 로지스틱 회귀와 동치이다

수식

\[P(y=j|x;\Theta) = \frac{e^{\theta_j^T x}}{\sum_{l=1}^{K} e^{\theta_l^T x}}\]