2. Artificial Intelligence/밑바닥부터 시작하는 딥러닝 (8) 썸네일형 리스트형 [밑바닥부터 시작하는 딥러닝2: Chapter 5] 순환 신경망(RNN) 본 포스팅은 밑바닥부터 시작하는 딥러닝2을 토대로 공부한 내용을 정리하기 위한 포스팅입니다.해당 도서에 나오는 Source Code 및 자료는 GitHub를 참조하여 진행하였습니다.https://github.com/WegraLee/deep-learning-from-scratch-2 5.0 학습 목표 지금까지 공부한 신경망은 feed forward 유형의 신경망이었다. feed forward란 흐름이 단방향인 신경망을 말한다. 다시 말해, 입력 신호가 다음 층으로 전달되고, 그 신호를 받은 층은 그다음 층으로 전달하고 .. 식으로 한 방향으로만 신호가 전달된다. 하지만 feed forward는 시계열 데이터의 성질을 충분히 학습할 수 없기 때문에 언어 모델에서는 주로 사용하지 않는다. 이번에 공부하는 Re.. [밑바닥부터 시작하는 딥러닝2: Chapter 4] word2vec 속도 개선 본 포스팅은 밑바닥부터 시작하는 딥러닝2을 토대로 공부한 내용을 정리하기 위한 포스팅입니다.해당 도서에 나오는 Source Code 및 자료는 GitHub를 참조하여 진행하였습니다.https://github.com/WegraLee/deep-learning-from-scratch-24.0 학습 목표 이번 장에서는 word2vec의 고속화를 위해 앞 장의 CBOW 모델을 개선한다. 그 과정에서 Embedding 계층을 구현하고 Negative Sampling이라는 새로운 기법을 도입한다. 이번 장의 핵심은 ‘모두’ 대신 ‘일부’를 처리하는 것이다. Negative Sampling은 ‘모든’ 단어가 아닌 ‘일부’ 단어만을 대상으로 하는 것으로, 계산을 효율적으로 수행해준다. word2vec으로 얻은 단어의 .. [밑바닥부터 시작하는 딥러닝2: Chapter 3] word2vec 본 포스팅은 밑바닥부터 시작하는 딥러닝2을 토대로 공부한 내용을 정리하기 위한 포스팅입니다.해당 도서에 나오는 Source Code 및 자료는 GitHub를 참조하여 진행하였습니다.https://github.com/WegraLee/deep-learning-from-scratch-2 GitHub - WegraLee/deep-learning-from-scratch-2: 『밑바닥부터 시작하는 딥러닝 ❷』(한빛미디어, 2019)『밑바닥부터 시작하는 딥러닝 ❷』(한빛미디어, 2019). Contribute to WegraLee/deep-learning-from-scratch-2 development by creating an account on GitHub.github.com 이번 장에서는 ‘추론 기반 기법’으로.. [밑바닥부터 시작하는 딥러닝2: Chapter 2] 자연어와 단어의 분산 표현 본 포스팅은 밑바닥부터 시작하는 딥러닝2을 토대로 공부한 내용을 정리하기 위한 포스팅입니다.해당 도서에 나오는 Source Code 및 자료는 GitHub를 참조하여 진행하였습니다.https://github.com/WegraLee/deep-learning-from-scratch-2 자연어 처리(National Language Processing, NLP)는 ’사람이 쓰는 언어를 컴퓨터에게 이해시키기는 기술‘을 말한다. 사람이 쓰는 말은 ‘문자’로 구성되며, 말의 의미는 ‘단어’로 구성된다. 즉, 단어는 의미의 최소 단위이다. 그래서 컴퓨터에게 먼저 ‘단어의 의미’를 이해시키는 것이 자연어 처리의 시작이라고 볼 수 있다. 이 책에서는 세 가지 기법으로 ‘단어’를 이해시킨다.시소러스를 활용한 기법통계 기반 .. [밑바닥부터 시작하는 딥러닝1: Chapter 8] 딥러닝 본 포스팅은 밑바닥부터 시작하는 딥러닝1을 토대로 공부한 내용을 정리하기 위한 포스팅입니다. 해당 도서에 나오는 Source Code 및 자료는 GitHub를 참조하여 진행하였습니다. https://github.com/WegraLee/deep-learning-from-scratch 8.1 더 깊게 그동안 공부한 기술들로 심층 신경망을 만들어 MNIST 데이터셋의 손글씨 숫자 인식 정확도를 계산해본다. [그림 8-1]과 같이 구성된 CNN을 구현했다고 하자. 이 신경망의 특징은 다음과 같다. 3x3의 작은 필터를 사용한 합성곱 계층활성화 함수는 ReLU완전연결 계층 뒤에 드롭아웃 계층 사용Adam을 사용해 최적화가중치 초깃값은 ‘He의 초깃값‘ 이 신경망을 학습여 정확도를 구하면 대략 99.38%가 된다... [밑바닥부터 시작하는 딥러닝1: Chapter 7] 합성곱 신경망(CNN) 본 포스팅은 밑바닥부터 시작하는 딥러닝1을 토대로 공부한 내용을 정리하기 위한 포스팅입니다. 해당 도서에 나오는 Source Code 및 자료는 GitHub를 참조하여 진행하였습니다. https://github.com/WegraLee/deep-learning-from-scratch 합성곱 신경망(Convolutional neural network, CNN)은 이미지 인식과 음성 인식 등 다양한 곳에서 사용된다. 특히 이미지 인식 분야에서 딥러닝을 활용한 기법은 거의 다 CNN을 기초로 하고 있다. 7.1 전체구조 CNN은 합성곱 계층(convolutional layer)와 풀링 계층(pooling layer)로 구성된다. 지금까지 공부한 신경망은 인접하는 계층의 모든 뉴런과 결합되어 있었다. 이를 완전연.. [밑바닥부터 시작하는 딥러닝1: Chapter 6] 학습 관련 기술들 본 포스팅은 밑바닥부터 시작하는 딥러닝1을 토대로 공부한 내용을 정리하기 위한 포스팅입니다. 해당 도서에 나오는 Source Code 및 자료는 GitHub를 참조하여 진행하였습니다. GitHub - oreilly-japan/deep-learning-from-scratch: 『ゼロから作る Deep Learning』(O'Reilly Japan, 2016)『ゼロから作る Deep Learning』(O'Reilly Japan, 2016). Contribute to oreilly-japan/deep-learning-from-scratch development by creating an account on GitHub.github.com 6.1 매개변수 갱신 지금까지 공부한 신경망 학습의 목적은 손실 함수의 값을 .. [밑바닥부터 시작하는 딥러닝1: Chapter 5] 오차역전파법 본 포스팅은 밑바닥부터 시작하는 딥러닝1을 토대로 공부한 내용을 정리하기 위한 포스팅입니다. 해당 도서에 나오는 Source Code 및 자료는 GitHub를 참조하여 진행하였습니다. https://github.com/oreilly-japan/deep-learning-from-scratch 5.2 연쇄법칙 순전파는 계산 결과를 왼쪽에서 오른쪽으로 전달하는 것이다. 한편 역전파는 ‘국소적인 미분’을 순방향과는 반대인 오른쪽에서 왼쪽으로 전달한다. 또한, 이 ‘국소적 미분’을 전달하는 원리는 연쇄법칙(chain rule)에 따른 것이다. [그림 5-6]과 같이 역전파의 계산 절차는 신호 E에 노드의 국소적 미분을 곱한 후 다음 노드로 전달하는 것이다. 여기에서 말하는 국소적 미분은 순전파 때의 y = f(x.. 이전 1 다음
