Stats & AI tech blog - '일단 시도함'

LSTM, Long Short Term Memory (장단기 기억 신경망)   이전 포스팅에서 알아봤던 순환신경망(RNN)은 시계열 데이터를 다루는데 특화된 모델이지만 단점이 존재한다.시계열의 시점이 길어질수록 기울기 소실 문제에 취약해진다는 것인데, 이런 경우 시점의 간격이 클수록 앞의 정보가 이후 시점으로 충분히 전달되지 않을 수 있다. 이런 순환신경망의 단점을 보완하기 위해 제시된 신경망이 장단기 기억 신경망(LSTM) 이다.LSTM은 순환신경망의 한 종류로, 정보의 기억과 망각을 적절히 제어할 수 있도록 cell의 구조를 변형한 신경망이다.  1. LSTM의 Gate 먼저 일반적인 순환신경망의 문제가 왜 발생하는지 알아보겠다. 첫 번째 시점의 input(x1)으로 파란 물감을 입력하고 이후 두 번..

1. 시계열 자료 (Time Series Data) 데이터가 어느 한 시점에서 획득된 것이 아니라 시간 순서에 따라 획득되어진 자료로 심전도나 기상 관측 자료, 주가 차트 등의 데이터를 시계열 데이터라고 한다. 시계열 데이터의 정의를 조금 확장하면 정적인 데이터도 시계열의 범주에서 다룰 수 있는데, 예를 들어 단일 흉부 촬영 영상은 정적 데이터지만 추적 관찰을 통해 연속 촬영된 흉부 촬영 영상의 집합은 시계열 데이터로 간주할 수 있다. 이 밖에도 유전체 배열은 시간이 아니라 공간적인 선후 관계를 가지지만 시계열 특성으로 간주할 수 있고, 단어의 순서로 이루어진 문장이나 음성 대화 같은 자연어 데이터도 대표적인 시계열 데이터에 속한다고 볼 수 있다. 시계열 데이터는 아래 3가지 특성을 가진다.시간 의존성 ..