자연스러운 코드로
자연스러운 코드로의 학습 목표, 상세 목차 및 핵심 학습 요약입니다.
🎯 학습 목표
이 단원을 학습하고 나면 제2고지 자연스러운 코드로에 포함된 다음 핵심 내용을 명확히 이해하고 구현할 수 있습니다:
- 11단계 가변 길이 인수(순전파 편)의 원리와 구현 방식을 이해하고 실전에 적용할 수 있다.
- 12단계 가변 길이 인수(개선 편)의 원리와 구현 방식을 이해하고 실전에 적용할 수 있다.
- 13단계 가변 길이 인수(역전파 편)의 원리와 구현 방식을 이해하고 실전에 적용할 수 있다.
- 14단계 같은 변수 반복 사용의 원리와 구현 방식을 이해하고 실전에 적용할 수 있다.
- 15단계 복잡한 계산 그래프(이론 편)의 원리와 구현 방식을 이해하고 실전에 적용할 수 있다.
📚 학습 목차
- 11단계 가변 길이 인수(순전파 편)
- 가변 길이 인수(순전파 편) 지금까지 우리는 함수에 입출력 변수가 하나씩인 경우만 생각해왔습니다. 예를 들어 $y = \text{square}(x)$ 와 $y = \text{exp}(x)$ 등은 입출력 변수가 하나씩입니다. 그러나 함수에 따라 여러 개의…
- 12단계 가변 길이 인수(개선 편)
- 가변 길이 인수(개선 편) 이전 단계에서는 가변 길이 인수에 대응할 수 있도록 DeZero를 확장했습니다. 하지만 개선이 필요해 보였습니다. 그래서 이번 단계에서는 DeZero를 더 쉽게 사용할 수 있도록 두 가지를 개선하겠습니다. 첫 번째는 Add…
- 13단계 가변 길이 인수(역전파 편)
- 가변 길이 인수(역전파 편) 이전 단계까지의 변경으로 함수가 여러 개의 변수를 입력받고 반환할 수 있게 되었습니다. 이를 순전파 구현에 반영하고 계산이 올바르게 이뤄지는지도 확인했습니다. 순전파 다음은 당연히 ‘역전파’입니다. 그래서 이번 단계에서는…
- 14단계 같은 변수 반복 사용
- 같은 변수 반복 사용 현재의 DeZero에는 문제가 있습니다. 같은 변수를 반복해서 사용한 경우 의도대로 동작하지 않을 수 있다는 문제입니다. $y = \text{add}(x, x)$ 계산을 예로 생각해봅시다. DeZero는 [그림 14-1]처럼 동일…
- 15단계 복잡한 계산 그래프(이론 편)
- 복잡한 계산 그래프(이론 편) 지금까지 우리는 [그림 15-1]처럼 한 줄로 늘어선 계산 그래프를 다뤘습니다. 그러나 변수와 함수가 꼭 이렇게 한 줄로 연결되리라는 법은 없습니다. 우리 DeZero는 꾸준히 발전을 거듭하고 있습니다. 그리고 지금의 D…
- 16단계 복잡한 계산 그래프(구현 편)
- 복잡한 계산 그래프(구현 편) 이번 단계에서는 15단계에서 설명한 이론을 코드로 구현합니다. 가장 먼저 순전파 시 ‘세대’를 설정하는 부분부터 시작하겠습니다. 그런 다음 역전파 시 최근 세대의 함수부터 꺼내도록 합니다. 이렇게 하면 아무리 복잡한 계산…
- 17단계 메모리 관리와 순환 참조
- 메모리 관리와 순환 참조 DeZero는 교육적인 면을 중시하여 가능한 한 이해하기 쉽도록 만들었습니다. 그래서 성능은 다소 희생한 감이 있습니다. 실제로도 지금까지의 구현에서는 처리 속도와 메모리 사용량에 전혀 신경 쓰지 않았습니다. 하지만 너무 한쪽…
- 18단계 메모리 절약 모드
- 메모리 절약 모드 이전 단계에서는 파이썬의 메모리 관리 방식에 대해 알아봤습니다. 이번 단계에는 DeZero의 메모리 사용을 개선할 수 있는 구조 두 가지를 도입합니다. 첫 번째는 역전파 시 사용하는 메모리양을 줄이는 방법으로, 불필요한 미분 결과를…
- 19단계 변수 사용성 개선
- 변수 사용성 개선 DeZero의 기초는 이미 완성되었습니다. 지금 상태로도 계산 그래프를 만들고 자동으로 미분을 계산할 수 있습니다. 그래서 앞으로 할 일은 DeZero를 더 쉽게 사용하도록 개선하는 작업입니다. 그 첫걸음으로, 이번 단계에서는 `Va…
- 20단계 연산자 오버로드(1)
- 연산자 오버로드(1) 이전 단계부터
Variable을 ‘투명한 상자’로 만드는 작업을 시작했지만 아직 $+$ 와 $*$ 같은 연산자에 대응하는 작업이 남아 있습니다. 예컨대Variable인스턴스a와b가 있을 때y = a * b…
- 연산자 오버로드(1) 이전 단계부터
- 21단계 연산자 오버로드(2)
- 연산자 오버로드(2) DeZero가 점점 편리해지고 있습니다. 이제 우리는
Variable인스턴스a와b가 있을 때a * b혹은a + b같은 코드도 작성할 수 있지요. 하지만 안타깝게도a * np.array(2.0)처…
- 연산자 오버로드(2) DeZero가 점점 편리해지고 있습니다. 이제 우리는
- 22단계 연산자 오버로드(3)
- 연산자 오버로드(3) 이전 단계에서는 DeZero가 $*$ 와 $+$ 연산자를 지원하도록 확장했는데, 연산자는 이밖에도 많습니다. 그래서 이번 단계에서는 [표 22-1]의 연산자들을 새로 추가하겠습니다. [표 22-1]의 첫 번째 메서드인 `_neg…
- 23단계 패키지로 정리
- 패키지로 정리 지금까지는 단계마다 내용 전체를 파일 하나에 담았습니다.
step01.py에서 시작하여step22.py까지 도달했죠. 그런데 어느덧 우리의 DeZero는 크게 ‘성장’했습니다. 그래서 이번 단계에서는 지금까지의 성과를 재사용할…
- 패키지로 정리 지금까지는 단계마다 내용 전체를 파일 하나에 담았습니다.
- 24단계 복잡한 함수의 미분
- 복잡한 함수의 미분 DeZero는 이제 대표적인 연산자들(+, *, -, /, **)을 지원합니다. 따라서 평소 파이썬 프로그래밍을 하듯 코딩할 수 있습니다. 이 혜택은 복잡한 수식을 코딩할 때 피부로 느껴질 것입니다. 그래서 이번 단계에서는 지…
- 칼럼 Define-by-Run
- 딥러닝 프레임워크는 동작 방식에 따라 크게 두 가지로 나눌 수 있습니다. 하나는 ‘정적 계산 그래프’ 혹은 ‘Define-and-Run’ 방식이며, 다른 하나는 ‘동적 계산 그래프’ 혹은 ‘Define-by-Run’ 방식입니다. 이번 칼럼에서는 이 두…
💡 학습 정리
- 11단계 가변 길이 인수(순전파 편): 가변 길이 인수(순전파 편) 지금까지 우리는 함수에 입출력 변수가 하나씩인 경우만 생각해왔습니다. 예를 들어 $y = \text{square}(x)$ 와 $y = \text{exp}(x)$ 등은 입출력 변수가 하나씩입니다. 그러나 함수에 따라 여러 개의…
- 12단계 가변 길이 인수(개선 편): 가변 길이 인수(개선 편) 이전 단계에서는 가변 길이 인수에 대응할 수 있도록 DeZero를 확장했습니다. 하지만 개선이 필요해 보였습니다. 그래서 이번 단계에서는 DeZero를 더 쉽게 사용할 수 있도록 두 가지를 개선하겠습니다. 첫 번째는 Add…
- 13단계 가변 길이 인수(역전파 편): 가변 길이 인수(역전파 편) 이전 단계까지의 변경으로 함수가 여러 개의 변수를 입력받고 반환할 수 있게 되었습니다. 이를 순전파 구현에 반영하고 계산이 올바르게 이뤄지는지도 확인했습니다. 순전파 다음은 당연히 ‘역전파’입니다. 그래서 이번 단계에서는…
- 14단계 같은 변수 반복 사용: 같은 변수 반복 사용 현재의 DeZero에는 문제가 있습니다. 같은 변수를 반복해서 사용한 경우 의도대로 동작하지 않을 수 있다는 문제입니다. $y = \text{add}(x, x)$ 계산을 예로 생각해봅시다. DeZero는 [그림 14-1]처럼 동일…
- 15단계 복잡한 계산 그래프(이론 편): 복잡한 계산 그래프(이론 편) 지금까지 우리는 [그림 15-1]처럼 한 줄로 늘어선 계산 그래프를 다뤘습니다. 그러나 변수와 함수가 꼭 이렇게 한 줄로 연결되리라는 법은 없습니다. 우리 DeZero는 꾸준히 발전을 거듭하고 있습니다. 그리고 지금의 D…
- 16단계 복잡한 계산 그래프(구현 편): 복잡한 계산 그래프(구현 편) 이번 단계에서는 15단계에서 설명한 이론을 코드로 구현합니다. 가장 먼저 순전파 시 ‘세대’를 설정하는 부분부터 시작하겠습니다. 그런 다음 역전파 시 최근 세대의 함수부터 꺼내도록 합니다. 이렇게 하면 아무리 복잡한 계산…
서브목차