시그모이드 함수

시그모이드 함수

시그모이드 함수(Sigmoid Function)는 임의의 실수 입력을 \((0, 1)\) 범위로 압축하는 S자 형태의 함수이다. 확률 출력이 필요한 이진 분류에서 출력 활성화 함수로 사용된다.

핵심

• \(\sigma(z) = \frac{1}{1+e^{-z}}\)로 정의된다
• 출력 범위가 \((0, 1)\)이므로 확률 해석이 가능하다
• 도함수가 \(\sigma'(z) = \sigma(z)(1-\sigma(z))\)로 깔끔하게 표현된다
• 입력이 매우 크거나 작을 때 기울기가 거의 0이 되어 기울기 소실 문제가 발생한다
• 이진 분류의 출력층에는 여전히 사용되지만, 은닉층에서는 ReLU로 대체되었다

수식

\[\sigma(z) = \frac{1}{1+e^{-z}}, \quad \sigma'(z) = \sigma(z)(1-\sigma(z))\]