zimslog

LSTM, Long Short Term Memory (장단기 기억 신경망)   이전 포스팅에서 알아봤던 순환신경망(RNN)은 시계열 데이터를 다루는데 특화된 모델이지만 단점이 존재한다.시계열의 시점이 길어질수록 기울기 소실 문제에 취약해진다는 것인데, 이런 경우 시점의 간격이 클수록 앞의 정보가 이후 시점으로 충분히 전달되지 않을 수 있다. 이런 순환신경망의 단점을 보완하기 위해 제시된 신경망이 장단기 기억 신경망(LSTM) 이다.LSTM은 순환신경망의 한 종류로, 정보의 기억과 망각을 적절히 제어할 수 있도록 cell의 구조를 변형한 신경망이다.  1. LSTM의 Gate 먼저 일반적인 순환신경망의 문제가 왜 발생하는지 알아보겠다. 첫 번째 시점의 input(x1)으로 파란 물감을 입력하고 이후 두 번..