퍼셉트론

퍼셉트론

퍼셉트론(Perceptron)은 프랭크 로젠블랫(Frank Rosenblatt)이 1957년 제안한 가장 단순한 인공 신경망으로, 입력의 가중 합에 계단 함수(threshold function)를 적용하여 이진 출력을 생성한다.

핵심

• 예측: \(h_\theta(x) = g(\theta^T x)\), 여기서 \(g(z) = 1\) if \(z \geq 0\), else \(0\)
• 퍼셉트론 학습 규칙: 잘못 분류된 샘플에 대해서만 가중치를 업데이트한다
• 선형 분리 가능한 데이터에서는 유한 스텝 안에 수렴한다 (퍼셉트론 수렴 정리)
• 선형 분리 불가능한 데이터에는 적용할 수 없다 (XOR 문제)
• 신경망의 기본 단위이며, 여러 층을 쌓으면 다층 퍼셉트론(MLP)이 된다

수식

\[h_\theta(x) = g(\theta^T x), \quad g(z) = \mathbb{1}[z \geq 0]\]

업데이트 규칙: \(\theta \leftarrow \theta + \alpha(y^{(i)} - h_\theta(x^{(i)}))x^{(i)}\)