순환 신경망

순환 신경망

순환 신경망(Recurrent Neural Network, RNN)은 이전 시간 단계의 은닉 상태(hidden state)를 현재 입력과 함께 처리하여 시퀀스 데이터의 시간적 의존성을 모델링하는 신경망이다.

핵심

• 은닉 상태 \(h_t = f(W_h h_{t-1} + W_x x_t + b)\)로 이전 문맥을 전달한다
• 자연어 처리, 음성 인식, 시계열 예측 등 순서 있는 데이터에 적합하다
• 역전파를 통한 시간 역전파(BPTT)로 학습한다
• 장거리 의존성에서 기울기 소실/폭발 문제가 심각하다
• LSTM, GRU가 이 문제를 해결하기 위해 개발되었고, 트랜스포머로 대체되고 있다

수식

\[h_t = \tanh(W_h h_{t-1} + W_x x_t + b)\]