newhaneul

본 포스팅은 밑바닥부터 시작하는 딥러닝2을 토대로 공부한 내용을 정리하기 위한 포스팅입니다.해당 도서에 나오는 Source Code 및 자료는 GitHub를 참조하여 진행하였습니다.https://github.com/WegraLee/deep-learning-from-scratch-27.0 학습 목표 이번 장에서는 ‘문장 생성’을 수행하는 언어 모델인 seq2seq이라는 새로운 구조의 신경망을 다룬다. seq2seq란 한 시계열 데이터를 다른 시계열 데이터로 변환하는 걸 말한다. 이 seq2seq은 기계 번역, 챗봇, 메일의 자동 답신 등 다양하게 응용될 수 있다.7.2 seq2seq 지금부터 시계열 데이터를 다른 시계열 데이터로 변환하는 모델을 배워보도록 한다. 2개의 RNN을 이용하는 seq2seq(s..

본 포스팅은 밑바닥부터 시작하는 딥러닝2을 토대로 공부한 내용을 정리하기 위한 포스팅입니다.해당 도서에 나오는 Source Code 및 자료는 GitHub를 참조하여 진행하였습니다.https://github.com/WegraLee/deep-learning-from-scratch-26.0 학습 목표 이번 장에서는 RNN에 게이트가 추가된 구조인 LSTM과 GRU에 대해서 공부해본다. 앞 장에서 배운 RNN은 기본적인 구조이기에 장기 의존 관계를 잘 학습할 수 없기 때문에 성능이 좋지 못하다. 따라서 RNN의 문제점에 대해 알아보고, LSTM이 게이트를 사용하여 어떻게 RNN의 문제점을 해결하였는지에 대해 초점을 두고 학습해보도록 한다.6.1 RNN의 문제점 앞 장에서 구현한 RNNLM은 [그림 6-4]처..

본 포스팅은 밑바닥부터 시작하는 딥러닝2을 토대로 공부한 내용을 정리하기 위한 포스팅입니다.해당 도서에 나오는 Source Code 및 자료는 GitHub를 참조하여 진행하였습니다.https://github.com/WegraLee/deep-learning-from-scratch-2 5.0 학습 목표 지금까지 공부한 신경망은 feed forward 유형의 신경망이었다. feed forward란 흐름이 단방향인 신경망을 말한다. 다시 말해, 입력 신호가 다음 층으로 전달되고, 그 신호를 받은 층은 그다음 층으로 전달하고 .. 식으로 한 방향으로만 신호가 전달된다. 하지만 feed forward는 시계열 데이터의 성질을 충분히 학습할 수 없기 때문에 언어 모델에서는 주로 사용하지 않는다. 이번에 공부하는 Re..

본 포스팅은 밑바닥부터 시작하는 딥러닝1을 토대로 공부한 내용을 정리하기 위한 포스팅입니다. 해당 도서에 나오는 Source Code 및 자료는 GitHub를 참조하여 진행하였습니다. https://github.com/WegraLee/deep-learning-from-scratch 8.1 더 깊게 그동안 공부한 기술들로 심층 신경망을 만들어 MNIST 데이터셋의 손글씨 숫자 인식 정확도를 계산해본다. [그림 8-1]과 같이 구성된 CNN을 구현했다고 하자. 이 신경망의 특징은 다음과 같다. 3x3의 작은 필터를 사용한 합성곱 계층활성화 함수는 ReLU완전연결 계층 뒤에 드롭아웃 계층 사용Adam을 사용해 최적화가중치 초깃값은 ‘He의 초깃값‘ 이 신경망을 학습여 정확도를 구하면 대략 99.38%가 된다...