[chap 9-1] 순차 데이터와 순환 신경망

🔮 순차 데이터

순차 데이터는 텍스트나 시계열 데이터와 같이 순서에 의미가 있는 데이터이다.

🔮 순환 신경망

샘플 A B C 가 있을 때, 첫 번째 샘플 A를 처리하고 난 출력 O_A가 다시 뉴런으로 들어간다. => 그 다음 샘플 B를 처리할 때 앞에서 만든 O_A와 샘플 B를 사용해서 O_B를 만듭니다. …

• 타임스탭: 이렇게 샘플을 처리하는 한 단계
• 셀: 순환 신경망에서의 층
• 은닉 상태: 셀의 출력
  

📍 순환 신경망의 기본 구조

입력에 어떤 가중치를 곱하고 활성화 함수를 통과시켜 다음 층으로 보낸다. 여기서 기존의 합성곱 신경망과의 차이점은 타임 스텝에 층의 출력을 재사용한다는 것이다.

📍 셀의 가중치와 입출력

• 셀의 가중치 구하기
  • 입력층 4개, 순환층 3개라고 할 때, 입력층에서의 가중치 크기는 4 * 3 = 12개이다.
  • 순환층에서 타임스탭에 재사용되는 은닉 상태를 위한 가중치 크기는 자기 자신에게 순환 될 때의 가중치 + 다른 뉴런에게 전달되는 가중치 = 1 + 2 = 3개 즉, 각 뉴런당 3개의 가중치를 가지므로 3 * 3 = 9개이다.
• 순환층의 입력과 출력 순환층은 일반적으로 샘플마다 2개의 차원을 가진다.