LSTM (Long Short Term Memory) 복습하기

LSTM 이란 무엇일까?

• 기존 RNN이 출력과 먼 위치에 있는 정보를 기억할 수 없다는 단점(장기의존성문제), 기울기 소실 문제를 보완하여 장/단기 기억을 가능하게 설계한 신경망의 구조를 말하며 거시적으로 시계열을 예측하기 위하거나 자연어 처리에서 활용된다.
• 기존 RNN 모델의 구조는 아래와 같다.

기존 RNN의 구조

 

• LSTM의 구조는 아래와 같다.

LSTM의 구조

 

• 위에서 볼 수 있듯  RNN과  LSTM의 차이에서 볼 수있는 차이점은 내부구조가 좀더 복잡해진 것이다.
• 이는 이전 셀의 정보를 그대로 가지고와 현재 셀에서의 데이터의 결과를 갖고 다음셀로 전달하는 역할을 한다. 
• 즉 3개의 게이트와 1개의 셀이 존재하며 이러한 구조로 RNN의 단점을 보완함