DeZero의 도전
DeZero의 도전의 학습 목표, 상세 목차 및 핵심 학습 요약입니다.
🎯 학습 목표
이 단원을 학습하고 나면 제5고지 DeZero의 도전에 포함된 다음 핵심 내용을 명확히 이해하고 구현할 수 있습니다:
- 52단계 GPU 지원의 원리와 구현 방식을 이해하고 실전에 적용할 수 있다.
- 53단계 모델 저장 및 읽어오기의 원리와 구현 방식을 이해하고 실전에 적용할 수 있다.
- 54단계 드롭아웃과 테스트 모드의 원리와 구현 방식을 이해하고 실전에 적용할 수 있다.
- 55단계 CNN 메커니즘(1)의 원리와 구현 방식을 이해하고 실전에 적용할 수 있다.
- 56단계 CNN 메커니즘(2)의 원리와 구현 방식을 이해하고 실전에 적용할 수 있다.
📚 학습 목차
- 52단계 GPU 지원
- 딥러닝으로 하는 계산은 ‘행렬의 곱’이 대부분을 차지합니다. 그런데 행렬의 곱은 곱셈과 덧셈으로 구성되어 있어서 병렬로 계산하는 게 가능하고, 병렬 계산에는 CPU보다 GPU가 훨씬 뛰어납니다. 그래서 이번 단계에서는 DeZero를 GPU에서 구동하기…
- 53단계 모델 저장 및 읽어오기
- 이번 단계에서는 모델이 가지는 매개변수를 외부 파일로 저장하고 다시 읽어오는 기능을 만듭니다. 이런 기능이 있다면 학습 중인 모델의 ‘스냅샷’을 저장하거나 이미 학습된 매개변수를 읽어와서 추론만 수행할 수 있습니다. DeZero의 매개변수는 `Para…
- 54단계 드롭아웃과 테스트 모드
- 신경망 학습에서는 과대적합이 자주 문제가 됩니다. 다음은 과대적합이 일어나는 주요 원인입니다. 첫 번째 원인 때문이라면 데이터를 더 확보하거나 데이터 수를 인위적으로 늘리는 데이터 확장(data augmentation)을 이용하면 효과적입니다. 두 번…
- 55단계 CNN 메커니즘(1)
- 지금부터 몇 단계에 걸쳐 ‘CNN’에 대해 알아볼 것입니다. CNN은 합성곱 신경망(Convolutional Neural Network)의 약자로, 이미지 인식, 음성 인식, 자연어 처리 등 다양한 분야에서 사용됩니다. 특히 이미지 인식용 딥러닝이라고…
- 56단계 CNN 메커니즘(2)
- 이전 단계에서는 수직 및 수평 방향으로 늘어선 2차원 데이터(2차원 텐서)에서의 합성곱 연산을 설명했습니다. 그러나 사진에는 가로/세로 방향뿐 아니라 RGB처럼 ‘채널 방향’으로도 데이터가 쌓여 있기 때문에 3차원 데이터(3차원 텐서)를 다뤄야 합니다…
- 57단계 conv2d 함수와 pooling 함수
- 55~56단계에서 합성곱층과 풀링층에 대해 설명했습니다. 합성곱 연산을 곧이곧대로 구현하면
for문이 겹겹이 중첩된 코드가 될 것입니다. 이렇게 코딩하기는 귀찮을 뿐 아니라 넘파이에서for문을 사용하면 속도가 느려진다는 단점도 있습니다….
- 55~56단계에서 합성곱층과 풀링층에 대해 설명했습니다. 합성곱 연산을 곧이곧대로 구현하면
- 58단계 대표적인 CNN(VGG16)
- 이번 단계에서는 이전 단계에서 구현한
Conv2d계층과pooling함수를 이용하여 유명한 모델 하나를 구현하려 합니다. 바로 VGG16이라는 모델입니다. 또한 학습된 가중치를 사용하여 추론도 해보겠습니다. VGG는 2014년 ILSVRC…
- 이번 단계에서는 이전 단계에서 구현한
- 59단계 RNN을 활용한 시계열 데이터 처리
- 지금까지는 피드포워드feed forward 구조의 신경망을 살펴보았습니다. 피드포워드란 데이터를 순forward방향으로만 계속 입력해준다feed는 뜻입니다. 신호가 한 방향으로만 흘러가기 때문…
- 60단계 LSTM과 데이터 로더
- 이전 단계에서는 RNN을 사용하여 시계열 데이터(사인파)를 학습했습니다. 이번에는 이전 단계의 코드에서 두 가지를 개선하겠습니다. 첫 번째는 시계열 데이터용 ‘데이터 로더’를 만드는 것입니다. 이전 단계에서는 모델에 데이터를 하나씩(배치 크기가 1로)…
- 칼럼 앞으로 앞으로
- 이번 칼럼에서는 DeZero의 ‘향후 계획’을 몇 가지 이야기합니다. 앞으로 DeZero를 어떻게 더 확장할 수 있을지, OSS(오픈 소스 소프트웨어)로서 어떤 기능이나 자료가 필요한지 등을 생각나는 대로 정리했습니다. 그리고 본문에서 다루지 못한 D…
💡 학습 정리
- 52단계 GPU 지원: 딥러닝으로 하는 계산은 ‘행렬의 곱’이 대부분을 차지합니다. 그런데 행렬의 곱은 곱셈과 덧셈으로 구성되어 있어서 병렬로 계산하는 게 가능하고, 병렬 계산에는 CPU보다 GPU가 훨씬 뛰어납니다. 그래서 이번 단계에서는 DeZero를 GPU에서 구동하기…
- 53단계 모델 저장 및 읽어오기: 이번 단계에서는 모델이 가지는 매개변수를 외부 파일로 저장하고 다시 읽어오는 기능을 만듭니다. 이런 기능이 있다면 학습 중인 모델의 ‘스냅샷’을 저장하거나 이미 학습된 매개변수를 읽어와서 추론만 수행할 수 있습니다. DeZero의 매개변수는 `Para…
- 54단계 드롭아웃과 테스트 모드: 신경망 학습에서는 과대적합이 자주 문제가 됩니다. 다음은 과대적합이 일어나는 주요 원인입니다. 첫 번째 원인 때문이라면 데이터를 더 확보하거나 데이터 수를 인위적으로 늘리는 데이터 확장(data augmentation)을 이용하면 효과적입니다. 두 번…
- 55단계 CNN 메커니즘(1): 지금부터 몇 단계에 걸쳐 ‘CNN’에 대해 알아볼 것입니다. CNN은 합성곱 신경망(Convolutional Neural Network)의 약자로, 이미지 인식, 음성 인식, 자연어 처리 등 다양한 분야에서 사용됩니다. 특히 이미지 인식용 딥러닝이라고…
- 56단계 CNN 메커니즘(2): 이전 단계에서는 수직 및 수평 방향으로 늘어선 2차원 데이터(2차원 텐서)에서의 합성곱 연산을 설명했습니다. 그러나 사진에는 가로/세로 방향뿐 아니라 RGB처럼 ‘채널 방향’으로도 데이터가 쌓여 있기 때문에 3차원 데이터(3차원 텐서)를 다뤄야 합니다…
- 57단계 conv2d 함수와 pooling 함수: 55~56단계에서 합성곱층과 풀링층에 대해 설명했습니다. 합성곱 연산을 곧이곧대로 구현하면
for문이 겹겹이 중첩된 코드가 될 것입니다. 이렇게 코딩하기는 귀찮을 뿐 아니라 넘파이에서for문을 사용하면 속도가 느려진다는 단점도 있습니다….
서브목차