INDEX 및 DeZero API
숫자 / 기호
- 2차 근사 241
- * 연산자 170
-
- 연산자 171
- ∂ 기호 116
- >>> 43
- @contextlib.contextmanager 158
- @property 163
ㄴ
- 나눗셈 183
- 넘파이의 다차원 배열 41, 42
- 네이피어 상수 51
- 노드 76
- 뉴턴 방법 239, 291
- 뉴턴 방법으로 푸는 최적화 267
ㄱ
- 가변 길이 106
- 가변 길이 인수 105
- 가비지 컬렉션 144
- 가중치 351
- 가중치 감소 382, 455
- 가중치 초깃값 366
- 거듭제곱 184
- 게이트가 추가된 RNN 516
- 결정 경계 401
- 경사하강법 236
- 계산 그래프 46
- 계산 그래프 시각화 209, 215, 229
- 계층 컬렉션 430
- 고차 미분 247, 261
- 고차 미분 계산 그래프 277
- 고차 미분 계산 그래프 시각화 279
- 곱셈 105
- 과적합 419
- 교차 엔트로피 오차 393
- 구글 콜랩 446, 533
- 그래프 46
- 기울기 235
- 기울기 벡터 235
- 기울기 클리핑 382
- 기울기 확인 60, 96
- 기호 미분 100
- 기호 프로그래밍 201
- 꼬리 재귀 83
ㄷ
- 다변수 함수 116
- 다변수 함수의 뉴턴 방법 291
- 다이렉트 드롭아웃 457
- 다중 클래스 분류 387
- 다층 퍼셉트론 379
- 대화 모드 43
- 덧셈 105
- 데이터 확장 409, 455
- 도메인 특화 언어 201
- 도함수 56
- 동적 계산 그래프 75, 202
- 동적 계산 그래프의 장점 203
- 드롭아웃 455
- 딥러닝 프레임워크 428
ㄹ
- 라이브러리 187
- 렐루 함수 355
- 로젠브록 함수 233
- 리스트 106
- 리스트 내포 107
- 리스트 언팩 112
- 링크 76
- 링크드 리스트 76
ㅁ
- 마차시(matyas) 함수 197
- 매클로린 전개 227
- 메모리 관리 143
-
메모리 누수 143
- 메모리 부족 143
- 모델 374
- 모듈 187
- 모드 전환 156
- 미니배치 399, 472
- 미분 55
- 미분 가능 프로그래밍 202
- 미분 재설정 125
ㅂ
- 바나나 함수 233
- 반복문 82
- 반복문을 이용한 구현 82
- 반복자 411
- 배치 정규화 455
- 벡터 42
- 벡터의 내적 333
- 벡터화 처리 303
- 벤치마크 함수 196
- 변수 39
- 변수와 함수의 관계 74
- 복잡한 계산 그래프 135
- 복잡한 연결 127
- 부호 변환 180
- 분수 함수의 미분 278
- 비선형 데이터셋 354
- 뺄셈 181
ㅅ
- 선형 변환 351
- 선형 회귀 341
- 세대 133
- 세대별 가비지 컬렉션 147
- 소프트맥스 함수 391
- 손실 함수 64, 301
- 수동 역전파 67
- 수치 미분 56, 100
- 수치 미분의 문제점 59
- 순환 신경망 499
- 순환 참조 146
- 스칼라 42
- 스트라이드 465
- 스파이럴 데이터셋 397
- 슬라이스 388
- 슬라이스 조작 함수 387
- 시계열 500
- 시그모이드 함수 355
- 신경망 351
- 신경망 구현 356
- 쌍곡탄젠트 277
ㅇ
- 아핀 변환 351
- 앙상블 학습 457
- 야코비 행렬 304
- 약한 참조 148, 153
- 에포크 399
- 역 드롭아웃 457
- 역전파 53, 61, 62, 115, 255, 262, 301, 335
- 역전파 비활성 모드 157, 264
- 역전파 활성 모드 157
- 연결 75
- 연산자 오버로드 167, 169
- 연쇄 법칙 61
- 오버피팅 419
- 오일러의 수 51
- 오차역전파법 61
- 옵티마이저 컬렉션 431
- 완전연결계층 351
- 우선순위 큐 139
- 원소별 계산 299
- 원핫 벡터 393
- 위상 128
- 위상 정렬 133
- 은닉 상태 500
- 은닉층 358
- 음수 180
- 이미지 변환 220
- 이미지넷 492
- 인식 정확도 416
찾아보기 545
- 인플레이스 연산 525
- 입력층 358
ㅈ
- 자동 미분 100
- 자동 미분의 forward 모드 304
- 자동 미분의 reverse 모드 305
- 자연로그의 밑 51
- 잔차 343
- 재귀 82, 83
- 전진차분 57
- 전처리 409
- 전치 합성곱 483
- 정적 계산 그래프 200
- 정적 계산 그래프의 장점 204
- 제너레이터 372
- 준 뉴턴 방법 293
- 중앙차분 56
- 중첩 함수 140
- 지속적 통합 98
- 진정한 미분 56
ㅊ
- 차원 42
- 참조 카운트 144
- 창조자 74
- 체이너 203
- 최대 풀링 473
- 최적화 126, 233, 381
- 추론 154
- 축 42
- 출력이 여러 개인 함수 105
- 출력층 358
ㅋ
- 커널 463
- 코어 클래스 188
- 쿠다 438
- 쿠파이 435
ㅌ
- 테스트 93
- 테스트 모드 458
- 테일러 급수 226
- 텐서 42, 299
- 텐서플로 201
- 토이 데이터셋 341
- 튜플 106
- 특징 맵 471
ㅍ
- 파이썬 143
- 파이썬 단위 테스트 93
- 파이썬 인터프리터 143
- 파이썬 함수 85, 113
- 파이썬의 특수 메서드 46
- 패딩 464
- 패키지 187
- 편미분 116
- 편향 351
- 평균 교차 엔트로피 오차 394
- 평균 제곱 오차 343
- 평균 풀링 474
- 평탄화 424
- 풀링층 461, 473
- 플레이스홀더 201
- 피드포워드 499
- 필터 463
ㅎ
- 하이퍼볼릭 탄젠트 277
- 하이퍼파라미터 358
- 학습 154
- 함수 45
- 함수 연결 52
- 함수 우선순위 133
- 합성 함수 52
- 합성 함수의 미분 58
-
합성곱 신경망 461
- 합성곱 연산 462
- 합성곱층 461
- 해석적으로 계산 58
- 행렬 42
- 행렬의 곱 333
- 행렬의 전치 312
- 헤세 행렬 243, 292
- 헤세 행렬과 벡터의 곱 293
- 형상 체크 335
- 확률적경사하강법 383
- 활성화 함수 355
- 회귀 342
A
- affine transformation 351
- Aggressive Buffer Release 353
- assert 문 76
- assertEqual 94
- assertGreater 94
- assertTrue 94
- automatic differentiation 100
- Average 풀링 474
- axis 42, 321
B
- backpropagation 61
- Backpropagation Through Time 504
- Banana function 233
- Batch Normalization 455
- bias 351
- BPTT 504
C
- chain rule 61
- Chainer 203
- CI 98
- circular reference 146
- CNN 461
- composite function 52
- continuous integration 98
- convolution layer 461
- Convolutional Neural Network 461
- cp.asarray 437
- cp.asnumpy 437
- CPython 143
- CUDA 438
- CuPy 435
- cupy 438
D
- data augmentation 455
- decision boundary 401
- Define-and-Run 200
- Define-by-Run 73, 202, 429
- DeZero 데이터셋 421
- dezero 임포트 193
- differentiable programming 202
- dimension 42
- Direct Dropout 457
- Domain-Specific Language 201
- DOT 언어 211
- double backprop 287, 293
- double backpropagation 287
- DSL 201
E
- Ensemble Learning 457
- epoch 399
- Euler’s number 51
F
- feature map 471
- feed forward 499
- forward difference 57
- forward 모드 자동 미분 101
- fully connected layer 351
G
- Garbage Collection 144
- GC 144, 147
찾아보기 547
- generational garbage collection 147
- generator 372
- Goldstein-Price 함수 198
- Google Colab 533
- gradient 235
- gradient checking 60, 96
- gradient clipping 382
- Gradient Descent 236
- Graphviz 209
H
- Hessian matrix 243, 292
- Hessian-vector product 293
- hidden layer 358
- hidden state 500
- hyperparameter 358
I
- im2col 477
- ImageNet 492
- inference 154
- input layer 358
- Inverted Dropout 457
- iterator 411
J
- Jacobian matrix 304
K
- keepdims 321
- kernel 463
L
- linear regression 341
- linear transformation 351
- link 76
- linked list 76
- list comprehension 107
- list unpack 112
- loss function 64, 301
- LSTM 계층 515
M
- Maclaurin’s series 227
- MATLAB 100
- matrix 42
- Max 풀링 473
- mean squared error 343
- memory leak 143
- memory profiler 150
- middle layer 358
- mini batch 399
- MNIST 데이터셋 422
- Momentum 384
- multi-class classification 387
- Multi-Layer Perceptron 379
N
- Napier’s constant 51
- ndarray 인스턴스 41
- Newton’s method 239
- node 76
- np.allclose 97
- np.broadcast_to 326
- np.dot 334
- np.load 447
- np.max 487
- np.ndarray 41
- np.ones_like 88
- np.reshape 307
- np.save 447
- np.savez 449
- np.savez_compressed 449
- np.sum 321
- np.transpose 312
- numerical differentiation 56, 100
- numpy.ndarray 41
- N층 신경망 356
O
- one-hot vector 393
- ONNX 521
- operator overload 169
- out of memory 143
- output layer 358
- overfitting 419
P
- padding 464
- pooling 485
- pooling layer 461
- pooling_simple 486
- PyPI 522
Q
- QNM 293
- Quasi-Newton Method 293
R
- Recurrent Neural Network 499
- regression 342
- ReLU 함수 355, 426
- residual 343
- ResNet 497
- reverse 모드 자동 미분 101
- RNN 499
- RNN 계층 500
- RNN 모델 502
- Rosenbrock function 233
S
- scalar 42
- sigmoid function 355
- sin 함수 고차 미분 271
- slice 388
- softmax function 391
- Sphere 함수 196
- SqueezeNet 497
- stride 465
- symbolic differentiation 100
- symbolic programming 201
T
- tail recursion 83
- tanh 277
- Taylor Series 226
- tensor 42
- tf.cond 201
- tf.placeholder 201
- Topological Sort 133
- topology 128
- toy dataset 341
- training 154
- Truncated BPTT 505
- try 구문 452
- TypeError 89
U
- unittest 93
- unittest.TestCase 94
V
- vector 42
- VGG16 489
W
- weak reference 148
- weakref 모듈 148
- weakref.ref 148
- weight 351
- Weight Decay 382, 455
- WGAN-GP 289
- with 문 157
Y
- yield 365
찾아보기 549
DeZero API
파일
- __init__.py 191, 265
- core_simple.py 188
- core.py 261
- cuda.py 438
- dataloaders.py 413
- datasets.py 397, 422, 497
- functions.py 189, 271
- functions_conv.py 479
- layers.py 363
- models.py 374, 497
- optimizers.py 381, 384
- transforms.py 410
- utils.py 215, 327, 467, 481, 493
클래스
- AdaDelta 옵티마이저 384
- AdaGrad 옵티마이저 384
- Adam 옵티마이저 384
- Add 함수 108, 331
- BigData 데이터셋 406
- BroadcastTo 함수 328
- Compose 410
- Config 155, 459
- enable_backprop 155 (도서 오탈자: enable_backporp)
- train 459
- Conv2d 계층 484
- Cos 함수 272
- DataLoader 413, 441
- Dataset 404
- __getitem__ 404, 409
- __len__ 404
- Div 함수 183
- Exp 함수 51
- Function 46
- 인스턴스 변수
- generation 137
- input 68
- inputs 110
- output 75
- outputs 110, 149
- 메서드
- __call__ 46, 112, 174
- backward 68
- forward 48
- set_creator 75
- GetItem 함수 529
- GetItemGrad 함수 530
- Layer 363, 372
- _flatten_params 450
- cleargrads 365
- load_weights 452
- save_weights 452
- to_cpu 441
- to_gpu 441
- Linear 계층 366
- LSTM 계층 516
- MatMul 함수 338
- MeanSquaredError 함수 348
- MLP 모델 378
- MNIST 데이터셋 422
- Model 374
- MomentumSGD 옵티마이저 385
- Mul 함수 168
- Neg 함수 180
- Normalize 410
- Optimizer 381
- Parameter 362
- Pow 함수 184
- ReLU 함수 426
- Reshape 함수 309
- ResNet 모델 497
- RNN 계층 500
- SeqDataLoader 514
- SGD 옵티마이저 382
- Sigmoid 함수 356
- SimpleRNN 계층 503
- Sin 함수 225, 271, 443
-
SinCurve 데이터셋 507
- Softmax 함수 393
- Spiral 데이터셋 405
- SqueezeNet 모델 497
- Sub 함수 181
- Sum 함수 320
- SumTo 함수 329
- Tanh 함수 279
- Transpose 함수 313
- Variable 40
- 인스턴스 변수
- creator 75
- data 40
- grad 67, 122
- name 161
- 속성
- __array_priority__ 178
- dtype 163
- ndim 163
- shape 163
- size 163
- T 315
- 메서드
- __add__ 169
- __init__ 40
- __len__ 165
- __mul__ 168
- __neg__ 179, 180
- __pow__ 179, 184
- __radd__ 177
- __repr__ 166
- __rmul__ 176
- __rsub__ 179, 182
- __rtruediv__ 179, 183
- __sub__ 179, 181
- __truediv__ 179, 183
- backward 78, 117, 139, 149, 152, 262, 264
- cleargrad 125
- cleargrads 365
- reshape 311
- set_creator 75
- sum 324
- to_cpu 440
- to_gpu 441
- unchain 506
- unchain_backward 506
- 인스턴스 변수
- VGG16 모델 490
함수
- _dot_func 218
- _dot_var 217
- add 113, 444
- accuracy 416
- as_array 90, 175, 444
- as_cupy 439
- as_numpy 438
- as_variable 174
- broadcast_to 328
- im2col 477
- conv2d 479
- conv2d_simple 482
- cos 273
- div 183, 444
- dropout 459
- exp 86
- get_array_module 438
- get_conv_outsize 467
- get_dot_graph 219
- get_file 493
- get_item 529
- get_spiral 397
- is_simple_core 192
- linear 353
- linear_simple 353
- matmul 338
- max 487
- mean_squared_error 348
- mul 169, 444
- neg 180
- no_grad 159
- numerical_diff 96
DeZero API 551
- pair 481
- plot_dot_graph 221
- pooling 485
- pooling_simple 486
- pow 184
- rdiv 183, 444
- relu 426
- reshape 309
- reshape_sum_backward 323
- rsub 182, 444
- setup_variable 190
- sigmoid 356
- sigmoid_simple 355
- sin 225
- softmax_cross_entropy 395
- softmax_cross_entropy_simple 394
- softmax 393
- softmax_simple 393
- softmax1d 391
- square 86
- sub 181, 444
- sum 320
- sum_to 329
- tanh 279
- test_mode 459
- transpose 313
- using_config 157
이번엔 프레임워크다! 손으로 배우는 본격 딥러닝 학습서
Deep Learning from Scratch 3
이 책은 ‘밑바닥부터’ 직접 만들어보며 즐겁게 딥러닝을 익힐 수 있는 시리즈의 장점을 그대로 따랐습니다. DeZero라는 딥러닝 프레임워크를 단계별로 차근차근 구현하다 보면 어느새 프레임워크 기본 지식을 익히게 됩니다. 딥러닝과 파이썬 지식을 어느 정도 갖췄다면 전편을 읽지 않았더라도 충분히 따라올 수 있습니다.
- 제1고지 프레임워크 개발을 위한 기반을 마련합니다.
- 제2고지 프레임워크를 사용하는 코드가 더 자연스럽게 보이도록 합니다.
- 제3고지 2차 미분을 구할 수 있도록 프레임워크를 확장합니다. ‘역전파의 역전파’ 구조를 배우고 이해하면 프레임워크의 새로운 가능성에 눈을 뜨게 됩니다.
- 제4고지 프레임워크를 신경망용으로 정비하고 이를 사용해 손쉽게 신경망을 구축합니다.
- 제5고지 CPU 대응, 모델 저장과 복원 등 실전 딥러닝에 꼭 필요한 기능을 추가합니다. CNN, RNN 등 발전된 모델도 다룹니다. 딥러닝 응용을 다루는 이 주제들을 프레임워크로 구현한다면 간단한 코드만으로 해결할 수 있습니다.
이 책으로 딥러닝 프레임워크에 대한 기본 구조를 이해하고 나면 텐서플로와 파이토치 같은 프레임워크 코드를 직접 보는 것도 한결 수월해질 것입니다. 딥러닝뿐만 아니라 머신러닝, 인공지능에 관심 있는 파이썬 엔지니어에게는 꼭 추천하고 싶습니다. 박진형, XL8 공동 창업자
라이브러리나 프레임워크를 구현하는 작업은 어렵고 힘들지만 딥러닝 핵심 요소를 공부할 수 있는 좋은 기회입니다. 이 책은 미분 자동 계산부터 신경망까지 딥러닝 프레임워크를 구현하는 긴 여정을 안내합니다. 자신만의 프레임워크를 구축하기 위한 좋은 출발점이 될 것입니다. 옥찬호, 넥슨 코리아 프로그래머
관련 도서
- 밑바닥부터 시작하는 딥러닝
- 밑바닥부터 시작하는 딥러닝 2
- 파이토치 첫걸음
예제 소스 github.com/WegraLee/deep-learning-from-scratch-3
인공지능 / 딥러닝 ISBN 979-11-6224-359-6 (93000) 정가 38,000원
O’REILLY® 한빛미디어 Hanbit Media, Inc.
서브목차