INDEX 및 DeZero API

숫자 / 기호

  • 2차 근사 241
  • * 연산자 170
    • 연산자 171
  • ∂ 기호 116
  • >>> 43
  • @contextlib.contextmanager 158
  • @property 163

ㄴ

  • 나눗셈 183
  • 넘파이의 다차원 배열 41, 42
  • 네이피어 상수 51
  • 노드 76
  • 뉴턴 방법 239, 291
  • 뉴턴 방법으로 푸는 최적화 267

ㄱ

  • 가변 길이 106
  • 가변 길이 인수 105
  • 가비지 컬렉션 144
  • 가중치 351
  • 가중치 감소 382, 455
  • 가중치 초깃값 366
  • 거듭제곱 184
  • 게이트가 추가된 RNN 516
  • 결정 경계 401
  • 경사하강법 236
  • 계산 그래프 46
  • 계산 그래프 시각화 209, 215, 229
  • 계층 컬렉션 430
  • 고차 미분 247, 261
  • 고차 미분 계산 그래프 277
  • 고차 미분 계산 그래프 시각화 279
  • 곱셈 105
  • 과적합 419
  • 교차 엔트로피 오차 393
  • 구글 콜랩 446, 533
  • 그래프 46
  • 기울기 235
  • 기울기 벡터 235
  • 기울기 클리핑 382
  • 기울기 확인 60, 96
  • 기호 미분 100
  • 기호 프로그래밍 201
  • 꼬리 재귀 83

ㄷ

  • 다변수 함수 116
  • 다변수 함수의 뉴턴 방법 291
  • 다이렉트 드롭아웃 457
  • 다중 클래스 분류 387
  • 다층 퍼셉트론 379
  • 대화 모드 43
  • 덧셈 105
  • 데이터 확장 409, 455
  • 도메인 특화 언어 201
  • 도함수 56
  • 동적 계산 그래프 75, 202
  • 동적 계산 그래프의 장점 203
  • 드롭아웃 455
  • 딥러닝 프레임워크 428

ㄹ

  • 라이브러리 187
  • 렐루 함수 355
  • 로젠브록 함수 233
  • 리스트 106
  • 리스트 내포 107
  • 리스트 언팩 112
  • 링크 76
  • 링크드 리스트 76

ㅁ

  • 마차시(matyas) 함수 197
  • 매클로린 전개 227
  • 메모리 관리 143
  • 메모리 누수 143

  • 메모리 부족 143
  • 모델 374
  • 모듈 187
  • 모드 전환 156
  • 미니배치 399, 472
  • 미분 55
  • 미분 가능 프로그래밍 202
  • 미분 재설정 125

ㅂ

  • 바나나 함수 233
  • 반복문 82
  • 반복문을 이용한 구현 82
  • 반복자 411
  • 배치 정규화 455
  • 벡터 42
  • 벡터의 내적 333
  • 벡터화 처리 303
  • 벤치마크 함수 196
  • 변수 39
  • 변수와 함수의 관계 74
  • 복잡한 계산 그래프 135
  • 복잡한 연결 127
  • 부호 변환 180
  • 분수 함수의 미분 278
  • 비선형 데이터셋 354
  • 뺄셈 181

ㅅ

  • 선형 변환 351
  • 선형 회귀 341
  • 세대 133
  • 세대별 가비지 컬렉션 147
  • 소프트맥스 함수 391
  • 손실 함수 64, 301
  • 수동 역전파 67
  • 수치 미분 56, 100
  • 수치 미분의 문제점 59
  • 순환 신경망 499
  • 순환 참조 146
  • 스칼라 42
  • 스트라이드 465
  • 스파이럴 데이터셋 397
  • 슬라이스 388
  • 슬라이스 조작 함수 387
  • 시계열 500
  • 시그모이드 함수 355
  • 신경망 351
  • 신경망 구현 356
  • 쌍곡탄젠트 277

ㅇ

  • 아핀 변환 351
  • 앙상블 학습 457
  • 야코비 행렬 304
  • 약한 참조 148, 153
  • 에포크 399
  • 역 드롭아웃 457
  • 역전파 53, 61, 62, 115, 255, 262, 301, 335
  • 역전파 비활성 모드 157, 264
  • 역전파 활성 모드 157
  • 연결 75
  • 연산자 오버로드 167, 169
  • 연쇄 법칙 61
  • 오버피팅 419
  • 오일러의 수 51
  • 오차역전파법 61
  • 옵티마이저 컬렉션 431
  • 완전연결계층 351
  • 우선순위 큐 139
  • 원소별 계산 299
  • 원핫 벡터 393
  • 위상 128
  • 위상 정렬 133
  • 은닉 상태 500
  • 은닉층 358
  • 음수 180
  • 이미지 변환 220
  • 이미지넷 492
  • 인식 정확도 416

찾아보기 545

  • 인플레이스 연산 525
  • 입력층 358

ㅈ

  • 자동 미분 100
  • 자동 미분의 forward 모드 304
  • 자동 미분의 reverse 모드 305
  • 자연로그의 밑 51
  • 잔차 343
  • 재귀 82, 83
  • 전진차분 57
  • 전처리 409
  • 전치 합성곱 483
  • 정적 계산 그래프 200
  • 정적 계산 그래프의 장점 204
  • 제너레이터 372
  • 준 뉴턴 방법 293
  • 중앙차분 56
  • 중첩 함수 140
  • 지속적 통합 98
  • 진정한 미분 56

ㅊ

  • 차원 42
  • 참조 카운트 144
  • 창조자 74
  • 체이너 203
  • 최대 풀링 473
  • 최적화 126, 233, 381
  • 추론 154
  • 축 42
  • 출력이 여러 개인 함수 105
  • 출력층 358

ㅋ

  • 커널 463
  • 코어 클래스 188
  • 쿠다 438
  • 쿠파이 435

ㅌ

  • 테스트 93
  • 테스트 모드 458
  • 테일러 급수 226
  • 텐서 42, 299
  • 텐서플로 201
  • 토이 데이터셋 341
  • 튜플 106
  • 특징 맵 471

ㅍ

  • 파이썬 143
  • 파이썬 단위 테스트 93
  • 파이썬 인터프리터 143
  • 파이썬 함수 85, 113
  • 파이썬의 특수 메서드 46
  • 패딩 464
  • 패키지 187
  • 편미분 116
  • 편향 351
  • 평균 교차 엔트로피 오차 394
  • 평균 제곱 오차 343
  • 평균 풀링 474
  • 평탄화 424
  • 풀링층 461, 473
  • 플레이스홀더 201
  • 피드포워드 499
  • 필터 463

ㅎ

  • 하이퍼볼릭 탄젠트 277
  • 하이퍼파라미터 358
  • 학습 154
  • 함수 45
  • 함수 연결 52
  • 함수 우선순위 133
  • 합성 함수 52
  • 합성 함수의 미분 58
  • 합성곱 신경망 461

  • 합성곱 연산 462
  • 합성곱층 461
  • 해석적으로 계산 58
  • 행렬 42
  • 행렬의 곱 333
  • 행렬의 전치 312
  • 헤세 행렬 243, 292
  • 헤세 행렬과 벡터의 곱 293
  • 형상 체크 335
  • 확률적경사하강법 383
  • 활성화 함수 355
  • 회귀 342

A

  • affine transformation 351
  • Aggressive Buffer Release 353
  • assert 문 76
  • assertEqual 94
  • assertGreater 94
  • assertTrue 94
  • automatic differentiation 100
  • Average 풀링 474
  • axis 42, 321

B

  • backpropagation 61
  • Backpropagation Through Time 504
  • Banana function 233
  • Batch Normalization 455
  • bias 351
  • BPTT 504

C

  • chain rule 61
  • Chainer 203
  • CI 98
  • circular reference 146
  • CNN 461
  • composite function 52
  • continuous integration 98
  • convolution layer 461
  • Convolutional Neural Network 461
  • cp.asarray 437
  • cp.asnumpy 437
  • CPython 143
  • CUDA 438
  • CuPy 435
  • cupy 438

D

  • data augmentation 455
  • decision boundary 401
  • Define-and-Run 200
  • Define-by-Run 73, 202, 429
  • DeZero 데이터셋 421
  • dezero 임포트 193
  • differentiable programming 202
  • dimension 42
  • Direct Dropout 457
  • Domain-Specific Language 201
  • DOT 언어 211
  • double backprop 287, 293
  • double backpropagation 287
  • DSL 201

E

  • Ensemble Learning 457
  • epoch 399
  • Euler’s number 51

F

  • feature map 471
  • feed forward 499
  • forward difference 57
  • forward 모드 자동 미분 101
  • fully connected layer 351

G

  • Garbage Collection 144
  • GC 144, 147

찾아보기 547

  • generational garbage collection 147
  • generator 372
  • Goldstein-Price 함수 198
  • Google Colab 533
  • gradient 235
  • gradient checking 60, 96
  • gradient clipping 382
  • Gradient Descent 236
  • Graphviz 209

H

  • Hessian matrix 243, 292
  • Hessian-vector product 293
  • hidden layer 358
  • hidden state 500
  • hyperparameter 358

I

  • im2col 477
  • ImageNet 492
  • inference 154
  • input layer 358
  • Inverted Dropout 457
  • iterator 411

J

  • Jacobian matrix 304

K

  • keepdims 321
  • kernel 463

L

  • linear regression 341
  • linear transformation 351
  • link 76
  • linked list 76
  • list comprehension 107
  • list unpack 112
  • loss function 64, 301
  • LSTM 계층 515

M

  • Maclaurin’s series 227
  • MATLAB 100
  • matrix 42
  • Max 풀링 473
  • mean squared error 343
  • memory leak 143
  • memory profiler 150
  • middle layer 358
  • mini batch 399
  • MNIST 데이터셋 422
  • Momentum 384
  • multi-class classification 387
  • Multi-Layer Perceptron 379

N

  • Napier’s constant 51
  • ndarray 인스턴스 41
  • Newton’s method 239
  • node 76
  • np.allclose 97
  • np.broadcast_to 326
  • np.dot 334
  • np.load 447
  • np.max 487
  • np.ndarray 41
  • np.ones_like 88
  • np.reshape 307
  • np.save 447
  • np.savez 449
  • np.savez_compressed 449
  • np.sum 321
  • np.transpose 312
  • numerical differentiation 56, 100
  • numpy.ndarray 41
  • N층 신경망 356

O

  • one-hot vector 393
  • ONNX 521
  • operator overload 169
  • out of memory 143
  • output layer 358
  • overfitting 419

P

  • padding 464
  • pooling 485
  • pooling layer 461
  • pooling_simple 486
  • PyPI 522

Q

  • QNM 293
  • Quasi-Newton Method 293

R

  • Recurrent Neural Network 499
  • regression 342
  • ReLU 함수 355, 426
  • residual 343
  • ResNet 497
  • reverse 모드 자동 미분 101
  • RNN 499
  • RNN 계층 500
  • RNN 모델 502
  • Rosenbrock function 233

S

  • scalar 42
  • sigmoid function 355
  • sin 함수 고차 미분 271
  • slice 388
  • softmax function 391
  • Sphere 함수 196
  • SqueezeNet 497
  • stride 465
  • symbolic differentiation 100
  • symbolic programming 201

T

  • tail recursion 83
  • tanh 277
  • Taylor Series 226
  • tensor 42
  • tf.cond 201
  • tf.placeholder 201
  • Topological Sort 133
  • topology 128
  • toy dataset 341
  • training 154
  • Truncated BPTT 505
  • try 구문 452
  • TypeError 89

U

  • unittest 93
  • unittest.TestCase 94

V

  • vector 42
  • VGG16 489

W

  • weak reference 148
  • weakref 모듈 148
  • weakref.ref 148
  • weight 351
  • Weight Decay 382, 455
  • WGAN-GP 289
  • with 문 157

Y

  • yield 365

찾아보기 549

DeZero API

파일

  • __init__.py 191, 265
  • core_simple.py 188
  • core.py 261
  • cuda.py 438
  • dataloaders.py 413
  • datasets.py 397, 422, 497
  • functions.py 189, 271
  • functions_conv.py 479
  • layers.py 363
  • models.py 374, 497
  • optimizers.py 381, 384
  • transforms.py 410
  • utils.py 215, 327, 467, 481, 493

클래스

  • AdaDelta 옵티마이저 384
  • AdaGrad 옵티마이저 384
  • Adam 옵티마이저 384
  • Add 함수 108, 331
  • BigData 데이터셋 406
  • BroadcastTo 함수 328
  • Compose 410
  • Config 155, 459
    • enable_backprop 155 (도서 오탈자: enable_backporp)
    • train 459
  • Conv2d 계층 484
  • Cos 함수 272
  • DataLoader 413, 441
  • Dataset 404
    • __getitem__ 404, 409
    • __len__ 404
  • Div 함수 183
  • Exp 함수 51
  • Function 46
  • 인스턴스 변수
    • generation 137
    • input 68
    • inputs 110
    • output 75
    • outputs 110, 149
  • 메서드
    • __call__ 46, 112, 174
    • backward 68
    • forward 48
    • set_creator 75
  • GetItem 함수 529
  • GetItemGrad 함수 530
  • Layer 363, 372
    • _flatten_params 450
    • cleargrads 365
    • load_weights 452
    • save_weights 452
    • to_cpu 441
    • to_gpu 441
  • Linear 계층 366
  • LSTM 계층 516
  • MatMul 함수 338
  • MeanSquaredError 함수 348
  • MLP 모델 378
  • MNIST 데이터셋 422
  • Model 374
  • MomentumSGD 옵티마이저 385
  • Mul 함수 168
  • Neg 함수 180
  • Normalize 410
  • Optimizer 381
  • Parameter 362
  • Pow 함수 184
  • ReLU 함수 426
  • Reshape 함수 309
  • ResNet 모델 497
  • RNN 계층 500
  • SeqDataLoader 514
  • SGD 옵티마이저 382
  • Sigmoid 함수 356
  • SimpleRNN 계층 503
  • Sin 함수 225, 271, 443
  • SinCurve 데이터셋 507

  • Softmax 함수 393
  • Spiral 데이터셋 405
  • SqueezeNet 모델 497
  • Sub 함수 181
  • Sum 함수 320
  • SumTo 함수 329
  • Tanh 함수 279
  • Transpose 함수 313
  • Variable 40
    • 인스턴스 변수
      • creator 75
      • data 40
      • grad 67, 122
      • name 161
    • 속성
      • __array_priority__ 178
      • dtype 163
      • ndim 163
      • shape 163
      • size 163
      • T 315
    • 메서드
      • __add__ 169
      • __init__ 40
      • __len__ 165
      • __mul__ 168
      • __neg__ 179, 180
      • __pow__ 179, 184
      • __radd__ 177
      • __repr__ 166
      • __rmul__ 176
      • __rsub__ 179, 182
      • __rtruediv__ 179, 183
      • __sub__ 179, 181
      • __truediv__ 179, 183
      • backward 78, 117, 139, 149, 152, 262, 264
      • cleargrad 125
      • cleargrads 365
      • reshape 311
      • set_creator 75
      • sum 324
      • to_cpu 440
      • to_gpu 441
      • unchain 506
      • unchain_backward 506
  • VGG16 모델 490

함수

  • _dot_func 218
  • _dot_var 217
  • add 113, 444
  • accuracy 416
  • as_array 90, 175, 444
  • as_cupy 439
  • as_numpy 438
  • as_variable 174
  • broadcast_to 328
  • im2col 477
  • conv2d 479
  • conv2d_simple 482
  • cos 273
  • div 183, 444
  • dropout 459
  • exp 86
  • get_array_module 438
  • get_conv_outsize 467
  • get_dot_graph 219
  • get_file 493
  • get_item 529
  • get_spiral 397
  • is_simple_core 192
  • linear 353
  • linear_simple 353
  • matmul 338
  • max 487
  • mean_squared_error 348
  • mul 169, 444
  • neg 180
  • no_grad 159
  • numerical_diff 96

DeZero API 551

  • pair 481
  • plot_dot_graph 221
  • pooling 485
  • pooling_simple 486
  • pow 184
  • rdiv 183, 444
  • relu 426
  • reshape 309
  • reshape_sum_backward 323
  • rsub 182, 444
  • setup_variable 190
  • sigmoid 356
  • sigmoid_simple 355
  • sin 225
  • softmax_cross_entropy 395
  • softmax_cross_entropy_simple 394
  • softmax 393
  • softmax_simple 393
  • softmax1d 391
  • square 86
  • sub 181, 444
  • sum 320
  • sum_to 329
  • tanh 279
  • test_mode 459
  • transpose 313
  • using_config 157

이번엔 프레임워크다! 손으로 배우는 본격 딥러닝 학습서

Deep Learning from Scratch 3

이 책은 ‘밑바닥부터’ 직접 만들어보며 즐겁게 딥러닝을 익힐 수 있는 시리즈의 장점을 그대로 따랐습니다. DeZero라는 딥러닝 프레임워크를 단계별로 차근차근 구현하다 보면 어느새 프레임워크 기본 지식을 익히게 됩니다. 딥러닝과 파이썬 지식을 어느 정도 갖췄다면 전편을 읽지 않았더라도 충분히 따라올 수 있습니다.

  • 제1고지 프레임워크 개발을 위한 기반을 마련합니다.
  • 제2고지 프레임워크를 사용하는 코드가 더 자연스럽게 보이도록 합니다.
  • 제3고지 2차 미분을 구할 수 있도록 프레임워크를 확장합니다. ‘역전파의 역전파’ 구조를 배우고 이해하면 프레임워크의 새로운 가능성에 눈을 뜨게 됩니다.
  • 제4고지 프레임워크를 신경망용으로 정비하고 이를 사용해 손쉽게 신경망을 구축합니다.
  • 제5고지 CPU 대응, 모델 저장과 복원 등 실전 딥러닝에 꼭 필요한 기능을 추가합니다. CNN, RNN 등 발전된 모델도 다룹니다. 딥러닝 응용을 다루는 이 주제들을 프레임워크로 구현한다면 간단한 코드만으로 해결할 수 있습니다.

이 책으로 딥러닝 프레임워크에 대한 기본 구조를 이해하고 나면 텐서플로와 파이토치 같은 프레임워크 코드를 직접 보는 것도 한결 수월해질 것입니다. 딥러닝뿐만 아니라 머신러닝, 인공지능에 관심 있는 파이썬 엔지니어에게는 꼭 추천하고 싶습니다. 박진형, XL8 공동 창업자

라이브러리나 프레임워크를 구현하는 작업은 어렵고 힘들지만 딥러닝 핵심 요소를 공부할 수 있는 좋은 기회입니다. 이 책은 미분 자동 계산부터 신경망까지 딥러닝 프레임워크를 구현하는 긴 여정을 안내합니다. 자신만의 프레임워크를 구축하기 위한 좋은 출발점이 될 것입니다. 옥찬호, 넥슨 코리아 프로그래머


관련 도서

  • 밑바닥부터 시작하는 딥러닝
  • 밑바닥부터 시작하는 딥러닝 2
  • 파이토치 첫걸음

예제 소스 github.com/WegraLee/deep-learning-from-scratch-3

인공지능 / 딥러닝 ISBN 979-11-6224-359-6 (93000) 정가 38,000원

O’REILLY® 한빛미디어 Hanbit Media, Inc.

서브목차