밑바닥부터 시작하는 딥러닝 3: 파이썬으로 직접 구현하며 배우는 딥러닝 프레임워크

이 도서는 프레임워크를 밑바닥부터 직접 구현해보며 동작 원리를 배우는 실습 중심의 도서입니다. 총 5개의 고지(60단계)와 칼럼, 부록으로 구성되어 있습니다.


📖 전체 목차 및 서브챕터 안내

프롤로그

  • 0.1 왜 직접 만들어봐야 할까: 블랙박스 해체, 소프트웨어 아키텍처의 도약, 현대 프레임워크를 꿰뚫어 보는 눈의 가치와 미분 가능 프로그래밍(Differentiable Programming)의 본질.
  • 0.2 DeZero의 3대 특징: 미니멀리즘(Minimalism), 순수 파이썬(Pure Python), 그리고 Define-by-Run(동적 계산 그래프)이라는 DeZero의 3대 설계 원칙.
  • 0.3 핵심 습득 역량: 이론의 객체 지향 구현 관점, 메모리 최적화 및 약한 참조(weakref), 파이썬다운 고급 프로그래밍, 대규모 소프트웨어 빌딩 등 4대 핵심 역량.
  • 0.4 5대 고지(60단계) 탐험 로드맵: 제1고지(미분 자동 계산)부터 제5고지(DeZero의 도전) 및 부록까지, 60단계 교육 과정의 전체 마일스톤과 기술 스택 인포그래픽.
  • 0.5 현업 엔지니어 및 연구자 추천사: 스타트업 백엔드 개발자, 전 애플 엔지니어, 컴퓨터 비전 연구실 및 AI 커뮤니티 리더들의 생생한 추천 글과 학습 조언.
  • 0.6 실습 환경 및 준비 사항: Python 3.7+ 환경, 필수 라이브러리(NumPy, Matplotlib), 선택 도구(Graphviz, CuPy) 설치 방법과 첫 실습 시작 안내.

01. 미분 자동 계산

  • 1단계 상자로서의 변수: 상자로서의 변수 첫 번째 단계에서는 DeZero의 구성 요소인 ‘변수’를 만듭니다. 변수는 DeZero에서 가장 중요한 개념입니다. 이번 단계에서는 변수가 어떤 기능을 하는지 이해하고, 그 기능에 맞게 코드로 구현합니다. 1.1 변수란 본론으로 들어가…
  • 2단계 변수를 낳는 함수: 변수를 낳는 함수 앞 단계에서 Variable 클래스를 상자로 사용할 수 있게 했습니다. 하지만 지금 이대로는 그냥 상자일뿐입니다. 우리에겐 단순한 상자를 마법의 상자로 바꾸는 장치가 필요한데, 그 열쇠는 바로 ‘함수’입니다. 이번 단계에서는 함수에…
  • 3단계 함수 연결: 함수 연결 지금까지 DeZero의 ‘변수’와 ‘함수’를 만들어봤습니다. 그리고 2단계에서는 Square라는 제곱 계산용 함수 클래스를 구현했습니다. 이번 단계에서는 또 다른 함수를 구현하고 여러 함수를 조합해 계산할 수 있도록 하겠습니다. 3.1 Ex…
  • 4단계 수치 미분: 수치 미분 지금까지 Variable 클래스와 Function 클래스를 구현했습니다. 이 클래스들을 구현한 이유는 미분을 자동으로 계산하기 위해서입니다. 본격적인 구현에 앞서 이번 단계에서는 미분이 무엇인지 복습하고 수치 미분이라는 간단한 방법으로 미분…
  • 5단계 역전파 이론: 역전파 이론 우리는 수치 미분을 이용해 미분을 계산할 수 있게 되었지만 수치 미분은 계산 비용과 정확도 면에서 문제가 있습니다. 지금이 바로 역전파backpropagation, 오차역전파법가 구세주로 등장할 시점입니다! 역전파를 이…
  • 6단계 수동 역전파: 수동 역전파 이전 단계에서 역전파의 구동 원리를 설명했습니다. 이번 단계에서는 Variable과 Function 클래스를 확장하여 역전파를 이용한 미분을 구현하겠습니다. Variable 클래스부터 살펴보죠. 6.1 Variable 클래스 추가 구현 역…
  • 7단계 역전파 자동화: 역전파 자동화 이전 단계에서 역전파를 동작시키는 데 성공했습니다. 그러나 역전파 계산 코드를 수동으로 조합해야 했습니다. 새로운 계산을 할 때마다 역전파 코드를 직접 작성해야 한다는 뜻이죠. [그림 7-1]처럼 계산 그래프가 여러 개라면 각각의 계산에…
  • 8단계 재귀에서 반복문으로: 재귀에서 반복문으로 앞 단계에서는 Variable 클래스에 backward 메서드를 추가했습니다. 이번에는 처리 효율을 개선하고 앞으로의 확장을 대비해 backward 메서드의 구현 방식을 바꿔보겠습니다. 8.1 현재의 Variable 클래스…
  • 9단계 함수를 더 편리하게: 함수를 더 편리하게 DeZero가 역전파를 해낼 수 있게 되었습니다. 또한 Define-by-Run이라고 하는 전체 계산의 각 조각들을 런타임에 ‘연결’해내는 능력도 갖췄습니다. 하지만 사용하기에 조금 불편한 부분이 있어서 이번 단계에서는 DeZero…
  • 10단계 테스트: 테스트 소프트웨어 개발에서는 테스트를 빼놓을 수 없습니다. 테스트를 해야 실수(버그)를 예방할 수 있으며 테스트를 자동화해야 소프트웨어의 품질을 유지할 수 있습니다. DeZero도 마찬가지입니다. 그래서 이번 단계에서는 테스트 방법, 특히 딥러닝 프레…
  • 칼럼 자동 미분: 딥러닝 프레임워크의 중심에는 역전파가 있습니다. 역전파를 문헌에 따라 ‘자동 미분’이라고 부르기도 합니다. 하지만 ‘자동 미분’이라는 용어는 (특히 학술 분야에서는) 더 제한적인 방법을 뜻하므로 주의해야 합니다. 이번 칼럼에서는 자동 미분에 대해 한…

02. 자연스러운 코드로

  • 11단계 가변 길이 인수(순전파 편): 가변 길이 인수(순전파 편) 지금까지 우리는 함수에 입출력 변수가 하나씩인 경우만 생각해왔습니다. 예를 들어 $y = \text{square}(x)$ 와 $y = \text{exp}(x)$ 등은 입출력 변수가 하나씩입니다. 그러나 함수에 따라 여러 개의…
  • 12단계 가변 길이 인수(개선 편): 가변 길이 인수(개선 편) 이전 단계에서는 가변 길이 인수에 대응할 수 있도록 DeZero를 확장했습니다. 하지만 개선이 필요해 보였습니다. 그래서 이번 단계에서는 DeZero를 더 쉽게 사용할 수 있도록 두 가지를 개선하겠습니다. 첫 번째는 Add…
  • 13단계 가변 길이 인수(역전파 편): 가변 길이 인수(역전파 편) 이전 단계까지의 변경으로 함수가 여러 개의 변수를 입력받고 반환할 수 있게 되었습니다. 이를 순전파 구현에 반영하고 계산이 올바르게 이뤄지는지도 확인했습니다. 순전파 다음은 당연히 ‘역전파’입니다. 그래서 이번 단계에서는…
  • 14단계 같은 변수 반복 사용: 같은 변수 반복 사용 현재의 DeZero에는 문제가 있습니다. 같은 변수를 반복해서 사용한 경우 의도대로 동작하지 않을 수 있다는 문제입니다. $y = \text{add}(x, x)$ 계산을 예로 생각해봅시다. DeZero는 [그림 14-1]처럼 동일…
  • 15단계 복잡한 계산 그래프(이론 편): 복잡한 계산 그래프(이론 편) 지금까지 우리는 [그림 15-1]처럼 한 줄로 늘어선 계산 그래프를 다뤘습니다. 그러나 변수와 함수가 꼭 이렇게 한 줄로 연결되리라는 법은 없습니다. 우리 DeZero는 꾸준히 발전을 거듭하고 있습니다. 그리고 지금의 D…
  • 16단계 복잡한 계산 그래프(구현 편): 복잡한 계산 그래프(구현 편) 이번 단계에서는 15단계에서 설명한 이론을 코드로 구현합니다. 가장 먼저 순전파 시 ‘세대’를 설정하는 부분부터 시작하겠습니다. 그런 다음 역전파 시 최근 세대의 함수부터 꺼내도록 합니다. 이렇게 하면 아무리 복잡한 계산…
  • 17단계 메모리 관리와 순환 참조: 메모리 관리와 순환 참조 DeZero는 교육적인 면을 중시하여 가능한 한 이해하기 쉽도록 만들었습니다. 그래서 성능은 다소 희생한 감이 있습니다. 실제로도 지금까지의 구현에서는 처리 속도와 메모리 사용량에 전혀 신경 쓰지 않았습니다. 하지만 너무 한쪽…
  • 18단계 메모리 절약 모드: 메모리 절약 모드 이전 단계에서는 파이썬의 메모리 관리 방식에 대해 알아봤습니다. 이번 단계에는 DeZero의 메모리 사용을 개선할 수 있는 구조 두 가지를 도입합니다. 첫 번째는 역전파 시 사용하는 메모리양을 줄이는 방법으로, 불필요한 미분 결과를…
  • 19단계 변수 사용성 개선: 변수 사용성 개선 DeZero의 기초는 이미 완성되었습니다. 지금 상태로도 계산 그래프를 만들고 자동으로 미분을 계산할 수 있습니다. 그래서 앞으로 할 일은 DeZero를 더 쉽게 사용하도록 개선하는 작업입니다. 그 첫걸음으로, 이번 단계에서는 `Va…
  • 20단계 연산자 오버로드(1): 연산자 오버로드(1) 이전 단계부터 Variable을 ‘투명한 상자’로 만드는 작업을 시작했지만 아직 $+$ 와 $*$ 같은 연산자에 대응하는 작업이 남아 있습니다. 예컨대 Variable 인스턴스 a와 b가 있을 때 y = a * b…
  • 21단계 연산자 오버로드(2): 연산자 오버로드(2) DeZero가 점점 편리해지고 있습니다. 이제 우리는 Variable 인스턴스 a와 b가 있을 때 a * b 혹은 a + b 같은 코드도 작성할 수 있지요. 하지만 안타깝게도 a * np.array(2.0)처…
  • 22단계 연산자 오버로드(3): 연산자 오버로드(3) 이전 단계에서는 DeZero가 $*$ 와 $+$ 연산자를 지원하도록 확장했는데, 연산자는 이밖에도 많습니다. 그래서 이번 단계에서는 [표 22-1]의 연산자들을 새로 추가하겠습니다. [표 22-1]의 첫 번째 메서드인 `_neg…
  • 23단계 패키지로 정리: 패키지로 정리 지금까지는 단계마다 내용 전체를 파일 하나에 담았습니다. step01.py에서 시작하여 step22.py까지 도달했죠. 그런데 어느덧 우리의 DeZero는 크게 ‘성장’했습니다. 그래서 이번 단계에서는 지금까지의 성과를 재사용할…
  • 24단계 복잡한 함수의 미분: 복잡한 함수의 미분 DeZero는 이제 대표적인 연산자들(+, *, -, /, **)을 지원합니다. 따라서 평소 파이썬 프로그래밍을 하듯 코딩할 수 있습니다. 이 혜택은 복잡한 수식을 코딩할 때 피부로 느껴질 것입니다. 그래서 이번 단계에서는 지…
  • 칼럼 Define-by-Run: 딥러닝 프레임워크는 동작 방식에 따라 크게 두 가지로 나눌 수 있습니다. 하나는 ‘정적 계산 그래프’ 혹은 ‘Define-and-Run’ 방식이며, 다른 하나는 ‘동적 계산 그래프’ 혹은 ‘Define-by-Run’ 방식입니다. 이번 칼럼에서는 이 두…

03. 고차 미분 계산

  • 25단계 계산 그래프 시각화(1): DeZero는 이제 복잡한 수식도 쉽게 코드로 옮길 수 있습니다. 실제로 24단계에서는 Goldstein-Price 함수라는 매우 복잡한 함수를 코딩했습니다. 그런데 이런 복잡한 식을 계산할 때 그 뒤편에서는 어떤 ‘계산 그래프’가 만들어지는 것일까요…
  • 26단계 계산 그래프 시각화(2): 이전 단계에서는 DOT 언어를 작성하는 방법을 배웠습니다. 그 지식을 바탕으로 이번 단계에서는 DeZero 계산 그래프를 DOT 언어로 변환하려 합니다. 구체적으로는 DeZero에서 실행한 계산을 DOT 언어로 변환하는 기능을 구현할 것입니다. 계산…
  • 27단계 테일러 급수 미분: 지금부터는 DeZero를 사용하여 구체적인 문제를 몇 개 풀어보겠습니다. 이번 단계의 목표는 sin 함수의 미분입니다. 아시다시피 sin의 미분은 해석적으로 풀립니다. 그러니 우선은 정공법을 써서 sin 함수를 DeZero로 구현하고, 이어…
  • 28단계 함수 최적화: DeZero는 이제 미분을 자동으로 계산할 줄 압니다. 미분은 다양한 분야에서 다양한 용도로 활용되며, 그중 가장 중요한 용도로 함수 최적화를 들 수 있습니다. 이번 단계에서는 구체적인 함수를 대상으로 최적화를 해보겠습니다. 이번 단계에서는 로젠브록…
  • 29단계 뉴턴 방법으로 푸는 최적화(수동 계산): 이전 단계에서는 로젠브록 함수의 최솟값을 경사하강법으로 구해봤는데, 기울기를 구하는 작업을 5만 번 가까이 반복하고 나서야 겨우 목적지에 도달했습니다. 그 예에서 알 수 있듯이 경사하강법은 일반적으로 수렴이 느리다는 단점이 있습니다. 경사하강법을 대체…
  • 30단계 고차 미분(준비 편): 현재의 DeZero는 미분을 자동으로 계산할 수 있지만 1차 미분 한정입니다. 그래서 이번 단계에서는 2차 미분도 자동으로 계산할 수 있도록, 나아가 3차 미분, 4차 미분, $\dots$ 형태의 모든 고차 미분까지 자동으로 계산할 수 있도록 DeZe…
  • 31단계 고차 미분(이론 편): 이전 단계에서는 현재의 DeZero 구현을 되돌아봤습니다. 요점은 다음과 같습니다. 여기서 주목할 점은 계산 그래프의 ‘연결’이 만들어지는 시점으로, 순전파를 계산할 때 만들어집니다. 역전파를 계산할 때는 만들어지지 않는데, 여기에 문제의 핵심이 있습…
  • 32단계 고차 미분(구현 편): 이번 단계에서는 고차 미분을 해낼 수 있도록 DeZero를 변경하겠습니다. 이전 단계에서 이야기한 대로 역전파 시 수행되는 계산에 대해서도 계산 그래프를 만들면 됩니다. 역전파 때도 Variable 인스턴스를 사용하면 해결된다는 것을 이전 단계에서…
  • 33단계 뉴턴 방법으로 푸는 최적화(자동 계산): 지금까지는 2차 미분을 수동으로 계산했습니다. 이번 단계에서는 새로운 DeZero를 사용하여 2차 미분도 자동으로 계산할 생각입니다. 우선 간단한 수식의 2차 미분을 계산합니다. 그리고 미분값이 제대로 구해졌음을 확인한 다음, 이어서 뉴턴 방법을 사용…
  • 34단계 sin 함수 고차 미분: 지금까지 고차 미분에 대응하는 함수들(Add, Mul, Neg, Sub, Div, Pow 클래스)을 구현하여 dezero/core.py에 추가해뒀습니다. 이번 단계에서는 새로운 DeZero 함수 몇 개를 추가로 구현하겠습니다.
  • 35단계 고차 미분 계산 그래프: 이전 단계에 이어 이번 단계에서도 DeZero 함수를 추가합니다. 이번에 추가할 함수는 tanh입니다. tanh는 쌍곡탄젠트 혹은 하이퍼볼릭 탄젠트라고 읽습니다. 수식은 [식 35.1]과 같으며, 모양은 [그림 35-1]과 같습니다. $$ y…
  • 36단계 고차 미분 이외의 용도: 지금까지 여러 단계를 거쳐 DeZero로 고차 미분을 계산해봤습니다. 본질적으로는 한 가지 일을 한 셈인데, 바로 역전파 시 수행되는 계산에 대해서도 ‘연결’을 만들도록 했습니다. 여기에서 중요한 점은 역전파의 계산 그래프를 만드는 기능 자체가 DeZ…
  • 칼럼 뉴턴 방법과 double backprop 보충 학습: 이번 칼럼은 제3고지의 내용을 보충합니다. 먼저 입력이 벡터인 경우의 뉴턴 방법에 대해 설명하고, 이어서 뉴턴 방법을 대체할 수 있는 또 다른 방법을 소개합니다. 마지막으로 double backprop의 실용적인 쓰임 예를 추가합니다. 이번 칼럼은…

04. 신경망 만들기

  • 37단계 텐서를 다루다: 지금까지는 변수로 주로 ‘스칼라’를 다뤘습니다. 그러나 머신러닝 데이터로는 벡터나 행렬 등의 ‘텐서’가 주로 쓰입니다. 이번 단계에서는 텐서를 사용할 때의 주의점을 알아보면서 DeZero 확장을 준비합니다. 또한 지금까지 구현한 DeZero 함수들이…
  • 38단계 형상 변환 함수: 이전 단계에서는 텐서를 사용한 계산에서의 역전파를 설명했습니다. 요약하면 다음과 같습니다. 앞으로는 원소별로 계산하지 않는 함수에 대해 살펴보겠습니다. 이번 단계에서는 그 첫걸음으로 두 가지 함수를 구현합니다. 텐서의 형상을 변환하는 reshape…
  • 39단계 합계 함수: 이번 단계에서는 DeZero에 합계를 구하는 함수 sum을 추가합니다. 먼저 ‘덧셈’의 미분을 복습하고 이를 응용하여 sum 함수의 미분을 이끌어냅니다. 그런 다음 sum 함수를 구현하는 순서로 진행하겠습니다. ‘덧셈’ 함수는 이미 구현되어…
  • 40단계 브로드캐스트 함수: 이전 단계에서 DeZero의 sum 함수를 구현했는데, 이 함수의 역전파에서는 당시에는 구현되지 않은 broadcast_to 함수를 이용했습니다. 이번 단계에서는 바로 이 broadcast_to 함수를 구현합니다. 또한 DeZero에서도 넘…
  • 41단계 행렬의 곱: 이번 단계의 주제는 ‘벡터의 내적’과 ‘행렬의 곱’입니다. 먼저 이 두 가지 계산 방법을 알아본 다음 DeZero 함수로 구현하겠습니다. 이번 단계가 끝나면 텐서를 다루는 최소한의 핵심 함수들이 모두 등장하여 드디어 실용적인 문제를 풀 수 있게 됩니다…
  • 42단계 선형 회귀: 머신러닝은 ‘데이터’를 사용하여 문제를 해결합니다. 사람이 해법을 생각하여 알려주는 게 아니라 모아진 데이터로부터 컴퓨터가 스스로 해법을 찾아냅니다(학습합니다). 이처럼 데이터로부터 해법을 찾는 것이 머신러닝의 본질입니다. 앞으로 우리는 DeZero를…
  • 43단계 신경망: 이전 단계에서는 선형 회귀를 구현하고 올바로 동작시키는 데 성공했습니다. 선형 회귀를 구현했다면 이를 신경망으로 확장하는 일은 간단합니다. 이번 단계에서는 이전 단계의 코드를 수정하여 신경망으로 ‘진화’시킬 것입니다. 우선 이전 단계에서 수행한 변환을…
  • 44단계 매개변수를 모아두는 계층: 이전 단계에서는 DeZero를 사용하여 신경망을 구현했습니다. 단순하지만 진짜 신경망이었습니다. 이제 DeZero를 ‘신경망 프레임워크’라고 말할 수 있을 것입니다. 하지만 ‘사용 편의성’ 면에서는 여전히 몇 가지 문제가 있습니다. 앞으로 우리는 De…
  • 45단계 계층을 모아두는 계층: 이전 단계에서는 Layer 클래스를 만들었습니다. Layer 클래스에는 매개변수를 관리하는 구조가 녹아 있어서 Layer 클래스를 사용하면 매개변수를 우리가 직접 다루지 않아도 되어 편리합니다. 그런데 Layer 인스턴스 자체도 관리는…
  • 46단계 Optimizer로 수행하는 매개변수 갱신: 지금까지는 경사하강법으로 매개변수를 갱신했습니다만, 딥러닝 분야에서는 경사하강법 외에도 다양한 최적화 기법이 제안되고 있습니다. 이번 단계에서는 매개변수 갱신 작업(갱신 코드)을 모듈화하고 쉽게 다른 모듈로 대체할 수 있는 구조를 만들겠습니다. 이번…
  • 47단계 소프트맥스 함수와 교차 엔트로피 오차: 지금까지 신경망을 사용하여 회귀 문제를 풀어왔는데, 앞으로는 새로운 유형의 문제에 도전해 보겠습니다. 바로 다중 클래스 분류(multi-class classification)입니다. 다중 클래스 분류는 이름처럼 ‘여러 클래스’로 ‘분류’하는 문…
  • 48단계 다중 클래스 분류: 이전 단계에서는 소프트맥스 함수와 교차 엔트로피 오차를 구현했습니다. 그러니 이제 다중 클래스 분류를 할 수 있습니다. 이번 단계에서는 ‘스파이럴 데이터셋’이라는 작은 데이터셋을 사용하여 다중 클래스 분류를 실제로 해보겠습니다(스파이럴(spiral)은…
  • 49단계 Dataset 클래스와 전처리: 이전 단계에서는 스파이럴 데이터셋을 읽어올 때 x, t = dezero.datasets.get_spiral() 코드를 사용했습니다. 이때 x와 t는 ndarray 인스턴스이며, 형상은 x가 (300, 2)이고 t가 `(300,…
  • 50단계 미니배치를 뽑아주는 DataLoader: 이전 단계에서는 Dataset 클래스를 만들어서 통일된 인터페이스로 데이터셋을 다룰 수 있게 하였습니다. 이번 단계에서는 Dataset 클래스에서 미니배치를 뽑아주는 DataLoader 클래스를 구현합니다. DataLoader는 미니배치…
  • 51단계 MNIST 학습: 지금까지 데이터셋을 쉽게 다룰 수 있는 구조를 마련했습니다. 간단하게 복습하면, 우선 Dataset 클래스로 데이터셋 처리를 위한 공통 인터페이스를 마련했고, ‘전처리’를 설정할 수 있도록 했습니다. 그리고 DataLoader 클래스로는 `Da…
  • 칼럼 딥러닝 프레임워크: 딥러닝 프레임워크들은 여명기에는 제각기 큰 차이를 보였습니다. 그러나 성숙기에 접어든 지금은 파이토치, 체이너, 텐서플로 등의 인기 프레임워크들이 거의 같은 방향으로 나아가고 있습니다. 물론 각각의 특징이 있고 인터페이스도 다르지만, 핵심 설계 사상에…

05. DeZero의 도전

  • 52단계 GPU 지원: 딥러닝으로 하는 계산은 ‘행렬의 곱’이 대부분을 차지합니다. 그런데 행렬의 곱은 곱셈과 덧셈으로 구성되어 있어서 병렬로 계산하는 게 가능하고, 병렬 계산에는 CPU보다 GPU가 훨씬 뛰어납니다. 그래서 이번 단계에서는 DeZero를 GPU에서 구동하기…
  • 53단계 모델 저장 및 읽어오기: 이번 단계에서는 모델이 가지는 매개변수를 외부 파일로 저장하고 다시 읽어오는 기능을 만듭니다. 이런 기능이 있다면 학습 중인 모델의 ‘스냅샷’을 저장하거나 이미 학습된 매개변수를 읽어와서 추론만 수행할 수 있습니다. DeZero의 매개변수는 `Para…
  • 54단계 드롭아웃과 테스트 모드: 신경망 학습에서는 과대적합이 자주 문제가 됩니다. 다음은 과대적합이 일어나는 주요 원인입니다. 첫 번째 원인 때문이라면 데이터를 더 확보하거나 데이터 수를 인위적으로 늘리는 데이터 확장(data augmentation)을 이용하면 효과적입니다. 두 번…
  • 55단계 CNN 메커니즘(1): 지금부터 몇 단계에 걸쳐 ‘CNN’에 대해 알아볼 것입니다. CNN은 합성곱 신경망(Convolutional Neural Network)의 약자로, 이미지 인식, 음성 인식, 자연어 처리 등 다양한 분야에서 사용됩니다. 특히 이미지 인식용 딥러닝이라고…
  • 56단계 CNN 메커니즘(2): 이전 단계에서는 수직 및 수평 방향으로 늘어선 2차원 데이터(2차원 텐서)에서의 합성곱 연산을 설명했습니다. 그러나 사진에는 가로/세로 방향뿐 아니라 RGB처럼 ‘채널 방향’으로도 데이터가 쌓여 있기 때문에 3차원 데이터(3차원 텐서)를 다뤄야 합니다…
  • 57단계 conv2d 함수와 pooling 함수: 55~56단계에서 합성곱층과 풀링층에 대해 설명했습니다. 합성곱 연산을 곧이곧대로 구현하면 for 문이 겹겹이 중첩된 코드가 될 것입니다. 이렇게 코딩하기는 귀찮을 뿐 아니라 넘파이에서 for 문을 사용하면 속도가 느려진다는 단점도 있습니다….
  • 58단계 대표적인 CNN(VGG16): 이번 단계에서는 이전 단계에서 구현한 Conv2d 계층과 pooling 함수를 이용하여 유명한 모델 하나를 구현하려 합니다. 바로 VGG16이라는 모델입니다. 또한 학습된 가중치를 사용하여 추론도 해보겠습니다. VGG는 2014년 ILSVRC…
  • 59단계 RNN을 활용한 시계열 데이터 처리: 지금까지는 피드포워드feed forward 구조의 신경망을 살펴보았습니다. 피드포워드란 데이터를 순forward방향으로만 계속 입력해준다feed는 뜻입니다. 신호가 한 방향으로만 흘러가기 때문…
  • 60단계 LSTM과 데이터 로더: 이전 단계에서는 RNN을 사용하여 시계열 데이터(사인파)를 학습했습니다. 이번에는 이전 단계의 코드에서 두 가지를 개선하겠습니다. 첫 번째는 시계열 데이터용 ‘데이터 로더’를 만드는 것입니다. 이전 단계에서는 모델에 데이터를 하나씩(배치 크기가 1로)…
  • 칼럼 앞으로 앞으로: 이번 칼럼에서는 DeZero의 ‘향후 계획’을 몇 가지 이야기합니다. 앞으로 DeZero를 어떻게 더 확장할 수 있을지, OSS(오픈 소스 소프트웨어)로서 어떤 기능이나 자료가 필요한지 등을 생각나는 대로 정리했습니다. 그리고 본문에서 다루지 못한 D…

부록

  • APPENDIX A 인플레이스 연산(14단계 보충): 이번 부록은 14단계의 설명을 보충하기 위해 준비했습니다. 14단계에서 ‘미분값을 더할 때 +=를 사용하지 않는다’라고 했는데, 그 이유를 함께 알아보겠습니다. 우선 이번 문제를 정확하게 정리해보죠. 14단계에서 같은 변수를 반복해서 사용할 수 있…
  • APPENDIX B get_item 함수 구현(47단계 보충): 47단계에서는 get_item이라는 DeZero 함수의 사용법만 소개했는데, 이제부터 그 내부를 설명하겠습니다. 다음은 GetItem 클래스와 get_item 함수의 코드입니다. 초기화 시 슬라이스 연산을 수행하는 인수 slices를 받…
  • APPENDIX C 구글 콜랩에서 실행: 구글 콜랩은 클라우드에서 실행되는 주피터 노트북 환경입니다. 환경을 따로 구축할 필요 없이 브라우저만 있으면 누구나 이용할 수 있답니다. 더구나 CPU뿐 아니라 GPU도 사용할 수 있지요. 이번 부록에서는 DeZero가 구글 콜랩에서 작동하는 모습을…
  • 마치며: 지금까지 DeZero를 만드는 여행에 함께 해주셔서 감사합니다. 이 책을 통해 딥러닝 프레임워크에 대해, 그리고 딥러닝 자체에 대해 새롭게 배우신 게 있기를 기대합니다. 만약 그러했다면 저자로서 더 이상의 기쁨은 없을 것입니다. 마지막으로 지금부터 이…
  • 참고문헌: [1] Todd Young, Martin J. Mohlenkamp, “Introduction to Numerical Methods and Matlab Programming for Engineers — Lecture 27: Numerical Differ…
  • INDEX 및 DeZero API: 찾아보기 545 찾아보기 547 찾아보기 549 DeZero API 551 이 책은 ‘밑바닥부터’ 직접 만들어보며 즐겁게 딥러닝을 익힐 수 있는 시리즈의 장점을 그대로 따랐습니다. DeZero라는 딥러닝 프레임워크를 단계별로 차근차근 구현하다 보면 어…
서브목차