신경망 만들기
신경망 만들기의 학습 목표, 상세 목차 및 핵심 학습 요약입니다.
🎯 학습 목표
이 단원을 학습하고 나면 제4고지 신경망 만들기에 포함된 다음 핵심 내용을 명확히 이해하고 구현할 수 있습니다:
- 37단계 텐서를 다루다의 원리와 구현 방식을 이해하고 실전에 적용할 수 있다.
- 38단계 형상 변환 함수의 원리와 구현 방식을 이해하고 실전에 적용할 수 있다.
- 39단계 합계 함수의 원리와 구현 방식을 이해하고 실전에 적용할 수 있다.
- 40단계 브로드캐스트 함수의 원리와 구현 방식을 이해하고 실전에 적용할 수 있다.
- 41단계 행렬의 곱의 원리와 구현 방식을 이해하고 실전에 적용할 수 있다.
📚 학습 목차
- 37단계 텐서를 다루다
- 지금까지는 변수로 주로 ‘스칼라’를 다뤘습니다. 그러나 머신러닝 데이터로는 벡터나 행렬 등의 ‘텐서’가 주로 쓰입니다. 이번 단계에서는 텐서를 사용할 때의 주의점을 알아보면서 DeZero 확장을 준비합니다. 또한 지금까지 구현한 DeZero 함수들이…
- 38단계 형상 변환 함수
- 이전 단계에서는 텐서를 사용한 계산에서의 역전파를 설명했습니다. 요약하면 다음과 같습니다. 앞으로는 원소별로 계산하지 않는 함수에 대해 살펴보겠습니다. 이번 단계에서는 그 첫걸음으로 두 가지 함수를 구현합니다. 텐서의 형상을 변환하는
reshape…
- 이전 단계에서는 텐서를 사용한 계산에서의 역전파를 설명했습니다. 요약하면 다음과 같습니다. 앞으로는 원소별로 계산하지 않는 함수에 대해 살펴보겠습니다. 이번 단계에서는 그 첫걸음으로 두 가지 함수를 구현합니다. 텐서의 형상을 변환하는
- 39단계 합계 함수
- 이번 단계에서는 DeZero에 합계를 구하는 함수
sum을 추가합니다. 먼저 ‘덧셈’의 미분을 복습하고 이를 응용하여sum함수의 미분을 이끌어냅니다. 그런 다음sum함수를 구현하는 순서로 진행하겠습니다. ‘덧셈’ 함수는 이미 구현되어…
- 이번 단계에서는 DeZero에 합계를 구하는 함수
- 40단계 브로드캐스트 함수
- 이전 단계에서 DeZero의
sum함수를 구현했는데, 이 함수의 역전파에서는 당시에는 구현되지 않은broadcast_to함수를 이용했습니다. 이번 단계에서는 바로 이broadcast_to함수를 구현합니다. 또한 DeZero에서도 넘…
- 이전 단계에서 DeZero의
- 41단계 행렬의 곱
- 이번 단계의 주제는 ‘벡터의 내적’과 ‘행렬의 곱’입니다. 먼저 이 두 가지 계산 방법을 알아본 다음 DeZero 함수로 구현하겠습니다. 이번 단계가 끝나면 텐서를 다루는 최소한의 핵심 함수들이 모두 등장하여 드디어 실용적인 문제를 풀 수 있게 됩니다…
- 42단계 선형 회귀
- 머신러닝은 ‘데이터’를 사용하여 문제를 해결합니다. 사람이 해법을 생각하여 알려주는 게 아니라 모아진 데이터로부터 컴퓨터가 스스로 해법을 찾아냅니다(학습합니다). 이처럼 데이터로부터 해법을 찾는 것이 머신러닝의 본질입니다. 앞으로 우리는 DeZero를…
- 43단계 신경망
- 이전 단계에서는 선형 회귀를 구현하고 올바로 동작시키는 데 성공했습니다. 선형 회귀를 구현했다면 이를 신경망으로 확장하는 일은 간단합니다. 이번 단계에서는 이전 단계의 코드를 수정하여 신경망으로 ‘진화’시킬 것입니다. 우선 이전 단계에서 수행한 변환을…
- 44단계 매개변수를 모아두는 계층
- 이전 단계에서는 DeZero를 사용하여 신경망을 구현했습니다. 단순하지만 진짜 신경망이었습니다. 이제 DeZero를 ‘신경망 프레임워크’라고 말할 수 있을 것입니다. 하지만 ‘사용 편의성’ 면에서는 여전히 몇 가지 문제가 있습니다. 앞으로 우리는 De…
- 45단계 계층을 모아두는 계층
- 이전 단계에서는
Layer클래스를 만들었습니다.Layer클래스에는 매개변수를 관리하는 구조가 녹아 있어서Layer클래스를 사용하면 매개변수를 우리가 직접 다루지 않아도 되어 편리합니다. 그런데Layer인스턴스 자체도 관리는…
- 이전 단계에서는
- 46단계 Optimizer로 수행하는 매개변수 갱신
- 지금까지는 경사하강법으로 매개변수를 갱신했습니다만, 딥러닝 분야에서는 경사하강법 외에도 다양한 최적화 기법이 제안되고 있습니다. 이번 단계에서는 매개변수 갱신 작업(갱신 코드)을 모듈화하고 쉽게 다른 모듈로 대체할 수 있는 구조를 만들겠습니다. 이번…
- 47단계 소프트맥스 함수와 교차 엔트로피 오차
- 지금까지 신경망을 사용하여 회귀 문제를 풀어왔는데, 앞으로는 새로운 유형의 문제에 도전해 보겠습니다. 바로 다중 클래스 분류(multi-class classification)입니다. 다중 클래스 분류는 이름처럼 ‘여러 클래스’로 ‘분류’하는 문…
- 48단계 다중 클래스 분류
- 이전 단계에서는 소프트맥스 함수와 교차 엔트로피 오차를 구현했습니다. 그러니 이제 다중 클래스 분류를 할 수 있습니다. 이번 단계에서는 ‘스파이럴 데이터셋’이라는 작은 데이터셋을 사용하여 다중 클래스 분류를 실제로 해보겠습니다(스파이럴(spiral)은…
- 49단계 Dataset 클래스와 전처리
- 이전 단계에서는 스파이럴 데이터셋을 읽어올 때
x, t = dezero.datasets.get_spiral()코드를 사용했습니다. 이때x와t는ndarray인스턴스이며, 형상은x가(300, 2)이고t가 `(300,…
- 이전 단계에서는 스파이럴 데이터셋을 읽어올 때
- 50단계 미니배치를 뽑아주는 DataLoader
- 이전 단계에서는
Dataset클래스를 만들어서 통일된 인터페이스로 데이터셋을 다룰 수 있게 하였습니다. 이번 단계에서는Dataset클래스에서 미니배치를 뽑아주는DataLoader클래스를 구현합니다.DataLoader는 미니배치…
- 이전 단계에서는
- 51단계 MNIST 학습
- 지금까지 데이터셋을 쉽게 다룰 수 있는 구조를 마련했습니다. 간단하게 복습하면, 우선
Dataset클래스로 데이터셋 처리를 위한 공통 인터페이스를 마련했고, ‘전처리’를 설정할 수 있도록 했습니다. 그리고DataLoader클래스로는 `Da…
- 지금까지 데이터셋을 쉽게 다룰 수 있는 구조를 마련했습니다. 간단하게 복습하면, 우선
- 칼럼 딥러닝 프레임워크
- 딥러닝 프레임워크들은 여명기에는 제각기 큰 차이를 보였습니다. 그러나 성숙기에 접어든 지금은 파이토치, 체이너, 텐서플로 등의 인기 프레임워크들이 거의 같은 방향으로 나아가고 있습니다. 물론 각각의 특징이 있고 인터페이스도 다르지만, 핵심 설계 사상에…
💡 학습 정리
- 37단계 텐서를 다루다: 지금까지는 변수로 주로 ‘스칼라’를 다뤘습니다. 그러나 머신러닝 데이터로는 벡터나 행렬 등의 ‘텐서’가 주로 쓰입니다. 이번 단계에서는 텐서를 사용할 때의 주의점을 알아보면서 DeZero 확장을 준비합니다. 또한 지금까지 구현한 DeZero 함수들이…
- 38단계 형상 변환 함수: 이전 단계에서는 텐서를 사용한 계산에서의 역전파를 설명했습니다. 요약하면 다음과 같습니다. 앞으로는 원소별로 계산하지 않는 함수에 대해 살펴보겠습니다. 이번 단계에서는 그 첫걸음으로 두 가지 함수를 구현합니다. 텐서의 형상을 변환하는
reshape… - 39단계 합계 함수: 이번 단계에서는 DeZero에 합계를 구하는 함수
sum을 추가합니다. 먼저 ‘덧셈’의 미분을 복습하고 이를 응용하여sum함수의 미분을 이끌어냅니다. 그런 다음sum함수를 구현하는 순서로 진행하겠습니다. ‘덧셈’ 함수는 이미 구현되어… - 40단계 브로드캐스트 함수: 이전 단계에서 DeZero의
sum함수를 구현했는데, 이 함수의 역전파에서는 당시에는 구현되지 않은broadcast_to함수를 이용했습니다. 이번 단계에서는 바로 이broadcast_to함수를 구현합니다. 또한 DeZero에서도 넘… - 41단계 행렬의 곱: 이번 단계의 주제는 ‘벡터의 내적’과 ‘행렬의 곱’입니다. 먼저 이 두 가지 계산 방법을 알아본 다음 DeZero 함수로 구현하겠습니다. 이번 단계가 끝나면 텐서를 다루는 최소한의 핵심 함수들이 모두 등장하여 드디어 실용적인 문제를 풀 수 있게 됩니다…
- 42단계 선형 회귀: 머신러닝은 ‘데이터’를 사용하여 문제를 해결합니다. 사람이 해법을 생각하여 알려주는 게 아니라 모아진 데이터로부터 컴퓨터가 스스로 해법을 찾아냅니다(학습합니다). 이처럼 데이터로부터 해법을 찾는 것이 머신러닝의 본질입니다. 앞으로 우리는 DeZero를…
서브목차