로지스틱 회귀

로지스틱 회귀

로지스틱 회귀(Logistic Regression)는 시그모이드 함수를 적용해 선형 결합 \(\theta^T x\)를 \([0,1]\) 사이의 확률로 변환하여 이진 분류를 수행하는 알고리즘이다. 이름에 "회귀"가 포함되어 있지만 분류 알고리즘이다.

핵심

• 예측 확률: \(h_\theta(x) = \sigma(\theta^T x) = \frac{1}{1+e^{-\theta^T x}}\)
• 이진 교차 엔트로피(binary cross-entropy) 손실을 최소화하여 학습한다
• 최대 우도 추정 관점에서 베르누이 분포를 가정한 MLE와 동치이다
• 경사 하강법이나 뉴턴 방법으로 매개변수를 최적화한다
• 결정 경계가 선형이므로 선형 분리 가능한 문제에서 효과적이다

수식

\[h_\theta(x) = \frac{1}{1+e^{-\theta^T x}}\]

\[\ell(\theta) = \sum_{i=1}^{m} \left[y^{(i)}\log h_\theta(x^{(i)}) + (1-y^{(i)})\log(1-h_\theta(x^{(i)}))\right]\]