자연스러운 코드로

자연스러운 코드로의 학습 목표, 상세 목차 및 핵심 학습 요약입니다.


🎯 학습 목표

이 단원을 학습하고 나면 제2고지 자연스러운 코드로에 포함된 다음 핵심 내용을 명확히 이해하고 구현할 수 있습니다:

  1. 11단계 가변 길이 인수(순전파 편)의 원리와 구현 방식을 이해하고 실전에 적용할 수 있다.
  2. 12단계 가변 길이 인수(개선 편)의 원리와 구현 방식을 이해하고 실전에 적용할 수 있다.
  3. 13단계 가변 길이 인수(역전파 편)의 원리와 구현 방식을 이해하고 실전에 적용할 수 있다.
  4. 14단계 같은 변수 반복 사용의 원리와 구현 방식을 이해하고 실전에 적용할 수 있다.
  5. 15단계 복잡한 계산 그래프(이론 편)의 원리와 구현 방식을 이해하고 실전에 적용할 수 있다.

📚 학습 목차

  • 11단계 가변 길이 인수(순전파 편)
    • 가변 길이 인수(순전파 편) 지금까지 우리는 함수에 입출력 변수가 하나씩인 경우만 생각해왔습니다. 예를 들어 $y = \text{square}(x)$ 와 $y = \text{exp}(x)$ 등은 입출력 변수가 하나씩입니다. 그러나 함수에 따라 여러 개의…
  • 12단계 가변 길이 인수(개선 편)
    • 가변 길이 인수(개선 편) 이전 단계에서는 가변 길이 인수에 대응할 수 있도록 DeZero를 확장했습니다. 하지만 개선이 필요해 보였습니다. 그래서 이번 단계에서는 DeZero를 더 쉽게 사용할 수 있도록 두 가지를 개선하겠습니다. 첫 번째는 Add…
  • 13단계 가변 길이 인수(역전파 편)
    • 가변 길이 인수(역전파 편) 이전 단계까지의 변경으로 함수가 여러 개의 변수를 입력받고 반환할 수 있게 되었습니다. 이를 순전파 구현에 반영하고 계산이 올바르게 이뤄지는지도 확인했습니다. 순전파 다음은 당연히 ‘역전파’입니다. 그래서 이번 단계에서는…
  • 14단계 같은 변수 반복 사용
    • 같은 변수 반복 사용 현재의 DeZero에는 문제가 있습니다. 같은 변수를 반복해서 사용한 경우 의도대로 동작하지 않을 수 있다는 문제입니다. $y = \text{add}(x, x)$ 계산을 예로 생각해봅시다. DeZero는 [그림 14-1]처럼 동일…
  • 15단계 복잡한 계산 그래프(이론 편)
    • 복잡한 계산 그래프(이론 편) 지금까지 우리는 [그림 15-1]처럼 한 줄로 늘어선 계산 그래프를 다뤘습니다. 그러나 변수와 함수가 꼭 이렇게 한 줄로 연결되리라는 법은 없습니다. 우리 DeZero는 꾸준히 발전을 거듭하고 있습니다. 그리고 지금의 D…
  • 16단계 복잡한 계산 그래프(구현 편)
    • 복잡한 계산 그래프(구현 편) 이번 단계에서는 15단계에서 설명한 이론을 코드로 구현합니다. 가장 먼저 순전파 시 ‘세대’를 설정하는 부분부터 시작하겠습니다. 그런 다음 역전파 시 최근 세대의 함수부터 꺼내도록 합니다. 이렇게 하면 아무리 복잡한 계산…
  • 17단계 메모리 관리와 순환 참조
    • 메모리 관리와 순환 참조 DeZero는 교육적인 면을 중시하여 가능한 한 이해하기 쉽도록 만들었습니다. 그래서 성능은 다소 희생한 감이 있습니다. 실제로도 지금까지의 구현에서는 처리 속도와 메모리 사용량에 전혀 신경 쓰지 않았습니다. 하지만 너무 한쪽…
  • 18단계 메모리 절약 모드
    • 메모리 절약 모드 이전 단계에서는 파이썬의 메모리 관리 방식에 대해 알아봤습니다. 이번 단계에는 DeZero의 메모리 사용을 개선할 수 있는 구조 두 가지를 도입합니다. 첫 번째는 역전파 시 사용하는 메모리양을 줄이는 방법으로, 불필요한 미분 결과를…
  • 19단계 변수 사용성 개선
    • 변수 사용성 개선 DeZero의 기초는 이미 완성되었습니다. 지금 상태로도 계산 그래프를 만들고 자동으로 미분을 계산할 수 있습니다. 그래서 앞으로 할 일은 DeZero를 더 쉽게 사용하도록 개선하는 작업입니다. 그 첫걸음으로, 이번 단계에서는 `Va…
  • 20단계 연산자 오버로드(1)
    • 연산자 오버로드(1) 이전 단계부터 Variable을 ‘투명한 상자’로 만드는 작업을 시작했지만 아직 $+$ 와 $*$ 같은 연산자에 대응하는 작업이 남아 있습니다. 예컨대 Variable 인스턴스 a와 b가 있을 때 y = a * b…
  • 21단계 연산자 오버로드(2)
    • 연산자 오버로드(2) DeZero가 점점 편리해지고 있습니다. 이제 우리는 Variable 인스턴스 a와 b가 있을 때 a * b 혹은 a + b 같은 코드도 작성할 수 있지요. 하지만 안타깝게도 a * np.array(2.0)처…
  • 22단계 연산자 오버로드(3)
    • 연산자 오버로드(3) 이전 단계에서는 DeZero가 $*$ 와 $+$ 연산자를 지원하도록 확장했는데, 연산자는 이밖에도 많습니다. 그래서 이번 단계에서는 [표 22-1]의 연산자들을 새로 추가하겠습니다. [표 22-1]의 첫 번째 메서드인 `_neg…
  • 23단계 패키지로 정리
    • 패키지로 정리 지금까지는 단계마다 내용 전체를 파일 하나에 담았습니다. step01.py에서 시작하여 step22.py까지 도달했죠. 그런데 어느덧 우리의 DeZero는 크게 ‘성장’했습니다. 그래서 이번 단계에서는 지금까지의 성과를 재사용할…
  • 24단계 복잡한 함수의 미분
    • 복잡한 함수의 미분 DeZero는 이제 대표적인 연산자들(+, *, -, /, **)을 지원합니다. 따라서 평소 파이썬 프로그래밍을 하듯 코딩할 수 있습니다. 이 혜택은 복잡한 수식을 코딩할 때 피부로 느껴질 것입니다. 그래서 이번 단계에서는 지…
  • 칼럼 Define-by-Run
    • 딥러닝 프레임워크는 동작 방식에 따라 크게 두 가지로 나눌 수 있습니다. 하나는 ‘정적 계산 그래프’ 혹은 ‘Define-and-Run’ 방식이며, 다른 하나는 ‘동적 계산 그래프’ 혹은 ‘Define-by-Run’ 방식입니다. 이번 칼럼에서는 이 두…

💡 학습 정리

  1. 11단계 가변 길이 인수(순전파 편): 가변 길이 인수(순전파 편) 지금까지 우리는 함수에 입출력 변수가 하나씩인 경우만 생각해왔습니다. 예를 들어 $y = \text{square}(x)$ 와 $y = \text{exp}(x)$ 등은 입출력 변수가 하나씩입니다. 그러나 함수에 따라 여러 개의…
  2. 12단계 가변 길이 인수(개선 편): 가변 길이 인수(개선 편) 이전 단계에서는 가변 길이 인수에 대응할 수 있도록 DeZero를 확장했습니다. 하지만 개선이 필요해 보였습니다. 그래서 이번 단계에서는 DeZero를 더 쉽게 사용할 수 있도록 두 가지를 개선하겠습니다. 첫 번째는 Add…
  3. 13단계 가변 길이 인수(역전파 편): 가변 길이 인수(역전파 편) 이전 단계까지의 변경으로 함수가 여러 개의 변수를 입력받고 반환할 수 있게 되었습니다. 이를 순전파 구현에 반영하고 계산이 올바르게 이뤄지는지도 확인했습니다. 순전파 다음은 당연히 ‘역전파’입니다. 그래서 이번 단계에서는…
  4. 14단계 같은 변수 반복 사용: 같은 변수 반복 사용 현재의 DeZero에는 문제가 있습니다. 같은 변수를 반복해서 사용한 경우 의도대로 동작하지 않을 수 있다는 문제입니다. $y = \text{add}(x, x)$ 계산을 예로 생각해봅시다. DeZero는 [그림 14-1]처럼 동일…
  5. 15단계 복잡한 계산 그래프(이론 편): 복잡한 계산 그래프(이론 편) 지금까지 우리는 [그림 15-1]처럼 한 줄로 늘어선 계산 그래프를 다뤘습니다. 그러나 변수와 함수가 꼭 이렇게 한 줄로 연결되리라는 법은 없습니다. 우리 DeZero는 꾸준히 발전을 거듭하고 있습니다. 그리고 지금의 D…
  6. 16단계 복잡한 계산 그래프(구현 편): 복잡한 계산 그래프(구현 편) 이번 단계에서는 15단계에서 설명한 이론을 코드로 구현합니다. 가장 먼저 순전파 시 ‘세대’를 설정하는 부분부터 시작하겠습니다. 그런 다음 역전파 시 최근 세대의 함수부터 꺼내도록 합니다. 이렇게 하면 아무리 복잡한 계산…
서브목차