RNN (Recurrent Neural Networks)

시간이 흐른다는 특징 (time flow)

이전의 구조들을 보면 Fully connected network

→ 네트워크 구조의 차별성이 없음: Connection 자체가 문제의 상황과 특징을 파악하지 못함

→ 그리고 파라미터 수가 많음 → 우리가 원하는 특정 파라미터를 찾기가 쉽지 않음

Untitled

파라미터의 학습은 어떻게 할 것인가?

Backpropagation : 델라 시그널을 한 번 만들어 놓으면 매 레이어마다 propagation이 가능하다

Modeling Temporal Data with NN

Convolutional Neural Network의 한계

  1. No temporal modeling in the input and the hidden information
  2. Need to model the information flow from the previous hidden layer

→ RNN의 정의

Untitled

h_t = time t에서의 hidden layer

h_t-1 = time t-1에서의 hidden layer