[DL Basic] 7강 RNN, LSTM, GRU

RNN(Vanilla) : 재귀적인 신경망으로, sequential한 data를 처리할 수 있는 신경망이다. 각각의 timestep에서의 입력과 이전 timestep까지의 hidden state를 이용하여 과거의 정보를 사용할 수 있는 Neural Network인 것이다. 그림으로 나타내면 다음과 같다. RNN의 단점으로는 vanishing gradient 혹은 exploding gradient가 발생할 수 있다는 것이다. 만약 activation function이 sigmoid같은 것이면 vanishing gradient가 발생하고, ReLU같은 것이면 exploding gradient가 발생할 수 있다. 또한, Vanilla RNN은 너무 먼 과거의 정보를 활용할 수가 없다. 이를 보완하기 위해서, ..

2022.02.08