RNN2 장단기 기억망(Long-short Term Memory, LSTM)이란? 장단기 기억망(Long-short Term Memory, LSTM)이란? RNN의 기울기 정보 크기를 조절하기 위한 GATE를 추가하여 기울기 소실,폭발의 문제를 해결하기 위해 고안된 모델 RNN이라고 하면 일반적으로 LSTM을 가리키며 이는 연속적인 데이터를 처리하기 위한 대표적인 모델이다. 기존 RNN의 모델은 기울기 문제로 인해 문장에 대한 분류,번역,생성 성능이 낮았지만 이를 해결함 그러한 기울기 문제를 해결하기 위해 LSTM에선 *3가지 GATE가 추가 되었는데 이는 아래와 같다. 더보기 * 3가지 GATE 1. Forget Gate (ft): 과거 정보를 얼마나 유지할 것인가? 2. Input Gate (It) : 새로 입력된 정보는 얼마만큼 활용할 것인가? 3. Output Gate (Ot).. 2022. 5. 14. 순환 신경망(Recurrent Neural Network)이란? 더보기 순환 신경망(Recurrent Neural Network)의 구조와 작동 방식에 대해 알아보자 순환 신경망(Recurrent Neural Network, RNN)이란? 입력과 출력을 시퀀스 단위(연속형 데이터)로 처리하기 위해 고안된 신경망 시퀀스 모델이다. 연속형 데이터(Sequentail Data)의 의미는 어떠한 순서로 오는지에 따라 단위 의미가 달라지는 데이터를 의미한다. 시퀀스 단위로 처리되는 것의 예로 연속적인 주가 흐름, 구글 번역기 긴 문장 등의 예가 있다. 그렇다면 RNN은 어떤 구조를 가졌기에 연속형 데이터를 처리할 수 있는 것일까? 왼쪽에 위치한 이미지의 3가지 화살표를 보면 다음의 의미와 같다 입력 벡터(Xt)가 은닉층에 들어가는 것을 나타내는 화살표 (Whx) 은닉층(ht).. 2022. 5. 13. 이전 1 다음
