순환신경망(RNN,Recurrent Neural Networks)은 순서가 있는 데이터(Sequence data)를 학습하기 위한 인공신경망

• One to one : 입력과 출력이 한개 (Vanilla Neural Network). 가장 기보적인 네트워크
• One to many : 입력은 1개 출력은 여러개. 이미지 캡셔닝(image captioning) ⇒ input으로 이미지하나가 들어가면 이미지 내부 물체들에 대해 여러개의 단어로 변환하는 객체추출같은 개념
• many to one : 입력 여러개, 출력 하나. 감정 분류(sentiment Classification) 문장이 입력으로 들어가면 긍정/부정의 감정 분석
• many to many : 크게 두가지로 나누어짐
  • 번역( Machine Translation) : 입력과 출력의 길이가 다름
  • 비디오 분류( Video classification)

RNN의 기본 원리

• RNN은 모든 time step 에서 재귀식/점화식(recurrence formula)을 적용해서 작동.

• 점화식은 이웃하는 두개의 항 사이에 성립하는 관계를 나타내는 식.

• 모든 RNN에는 동일한 function과 파라미터 W를 사용해야 한다는 것.

• 위 many to many의 예를 봐도 각 타임 스텝에서 생성된 loss들의 합이 RNN 전체의 Loss가 됨.