고차 미분 계산
고차 미분 계산의 학습 목표, 상세 목차 및 핵심 학습 요약입니다.
🎯 학습 목표
이 단원을 학습하고 나면 제3고지 고차 미분 계산에 포함된 다음 핵심 내용을 명확히 이해하고 구현할 수 있습니다:
- 25단계 계산 그래프 시각화(1)의 원리와 구현 방식을 이해하고 실전에 적용할 수 있다.
- 26단계 계산 그래프 시각화(2)의 원리와 구현 방식을 이해하고 실전에 적용할 수 있다.
- 27단계 테일러 급수 미분의 원리와 구현 방식을 이해하고 실전에 적용할 수 있다.
- 28단계 함수 최적화의 원리와 구현 방식을 이해하고 실전에 적용할 수 있다.
- 29단계 뉴턴 방법으로 푸는 최적화(수동 계산)의 원리와 구현 방식을 이해하고 실전에 적용할 수 있다.
📚 학습 목차
- 25단계 계산 그래프 시각화(1)
- DeZero는 이제 복잡한 수식도 쉽게 코드로 옮길 수 있습니다. 실제로 24단계에서는 Goldstein-Price 함수라는 매우 복잡한 함수를 코딩했습니다. 그런데 이런 복잡한 식을 계산할 때 그 뒤편에서는 어떤 ‘계산 그래프’가 만들어지는 것일까요…
- 26단계 계산 그래프 시각화(2)
- 이전 단계에서는 DOT 언어를 작성하는 방법을 배웠습니다. 그 지식을 바탕으로 이번 단계에서는 DeZero 계산 그래프를 DOT 언어로 변환하려 합니다. 구체적으로는 DeZero에서 실행한 계산을 DOT 언어로 변환하는 기능을 구현할 것입니다. 계산…
- 27단계 테일러 급수 미분
- 지금부터는 DeZero를 사용하여 구체적인 문제를 몇 개 풀어보겠습니다. 이번 단계의 목표는
sin함수의 미분입니다. 아시다시피sin의 미분은 해석적으로 풀립니다. 그러니 우선은 정공법을 써서sin함수를 DeZero로 구현하고, 이어…
- 지금부터는 DeZero를 사용하여 구체적인 문제를 몇 개 풀어보겠습니다. 이번 단계의 목표는
- 28단계 함수 최적화
- DeZero는 이제 미분을 자동으로 계산할 줄 압니다. 미분은 다양한 분야에서 다양한 용도로 활용되며, 그중 가장 중요한 용도로 함수 최적화를 들 수 있습니다. 이번 단계에서는 구체적인 함수를 대상으로 최적화를 해보겠습니다. 이번 단계에서는 로젠브록…
- 29단계 뉴턴 방법으로 푸는 최적화(수동 계산)
- 이전 단계에서는 로젠브록 함수의 최솟값을 경사하강법으로 구해봤는데, 기울기를 구하는 작업을 5만 번 가까이 반복하고 나서야 겨우 목적지에 도달했습니다. 그 예에서 알 수 있듯이 경사하강법은 일반적으로 수렴이 느리다는 단점이 있습니다. 경사하강법을 대체…
- 30단계 고차 미분(준비 편)
- 현재의 DeZero는 미분을 자동으로 계산할 수 있지만 1차 미분 한정입니다. 그래서 이번 단계에서는 2차 미분도 자동으로 계산할 수 있도록, 나아가 3차 미분, 4차 미분, $\dots$ 형태의 모든 고차 미분까지 자동으로 계산할 수 있도록 DeZe…
- 31단계 고차 미분(이론 편)
- 이전 단계에서는 현재의 DeZero 구현을 되돌아봤습니다. 요점은 다음과 같습니다. 여기서 주목할 점은 계산 그래프의 ‘연결’이 만들어지는 시점으로, 순전파를 계산할 때 만들어집니다. 역전파를 계산할 때는 만들어지지 않는데, 여기에 문제의 핵심이 있습…
- 32단계 고차 미분(구현 편)
- 이번 단계에서는 고차 미분을 해낼 수 있도록 DeZero를 변경하겠습니다. 이전 단계에서 이야기한 대로 역전파 시 수행되는 계산에 대해서도 계산 그래프를 만들면 됩니다. 역전파 때도
Variable인스턴스를 사용하면 해결된다는 것을 이전 단계에서…
- 이번 단계에서는 고차 미분을 해낼 수 있도록 DeZero를 변경하겠습니다. 이전 단계에서 이야기한 대로 역전파 시 수행되는 계산에 대해서도 계산 그래프를 만들면 됩니다. 역전파 때도
- 33단계 뉴턴 방법으로 푸는 최적화(자동 계산)
- 지금까지는 2차 미분을 수동으로 계산했습니다. 이번 단계에서는 새로운 DeZero를 사용하여 2차 미분도 자동으로 계산할 생각입니다. 우선 간단한 수식의 2차 미분을 계산합니다. 그리고 미분값이 제대로 구해졌음을 확인한 다음, 이어서 뉴턴 방법을 사용…
- 34단계 sin 함수 고차 미분
- 지금까지 고차 미분에 대응하는 함수들(
Add,Mul,Neg,Sub,Div,Pow클래스)을 구현하여dezero/core.py에 추가해뒀습니다. 이번 단계에서는 새로운 DeZero 함수 몇 개를 추가로 구현하겠습니다.
- 지금까지 고차 미분에 대응하는 함수들(
- 35단계 고차 미분 계산 그래프
- 이전 단계에 이어 이번 단계에서도 DeZero 함수를 추가합니다. 이번에 추가할 함수는
tanh입니다.tanh는 쌍곡탄젠트 혹은 하이퍼볼릭 탄젠트라고 읽습니다. 수식은 [식 35.1]과 같으며, 모양은 [그림 35-1]과 같습니다. $$ y…
- 이전 단계에 이어 이번 단계에서도 DeZero 함수를 추가합니다. 이번에 추가할 함수는
- 36단계 고차 미분 이외의 용도
- 지금까지 여러 단계를 거쳐 DeZero로 고차 미분을 계산해봤습니다. 본질적으로는 한 가지 일을 한 셈인데, 바로 역전파 시 수행되는 계산에 대해서도 ‘연결’을 만들도록 했습니다. 여기에서 중요한 점은 역전파의 계산 그래프를 만드는 기능 자체가 DeZ…
- 칼럼 뉴턴 방법과 double backprop 보충 학습
- 이번 칼럼은 제3고지의 내용을 보충합니다. 먼저 입력이 벡터인 경우의 뉴턴 방법에 대해 설명하고, 이어서 뉴턴 방법을 대체할 수 있는 또 다른 방법을 소개합니다. 마지막으로
double backprop의 실용적인 쓰임 예를 추가합니다. 이번 칼럼은…
- 이번 칼럼은 제3고지의 내용을 보충합니다. 먼저 입력이 벡터인 경우의 뉴턴 방법에 대해 설명하고, 이어서 뉴턴 방법을 대체할 수 있는 또 다른 방법을 소개합니다. 마지막으로
💡 학습 정리
- 25단계 계산 그래프 시각화(1): DeZero는 이제 복잡한 수식도 쉽게 코드로 옮길 수 있습니다. 실제로 24단계에서는 Goldstein-Price 함수라는 매우 복잡한 함수를 코딩했습니다. 그런데 이런 복잡한 식을 계산할 때 그 뒤편에서는 어떤 ‘계산 그래프’가 만들어지는 것일까요…
- 26단계 계산 그래프 시각화(2): 이전 단계에서는 DOT 언어를 작성하는 방법을 배웠습니다. 그 지식을 바탕으로 이번 단계에서는 DeZero 계산 그래프를 DOT 언어로 변환하려 합니다. 구체적으로는 DeZero에서 실행한 계산을 DOT 언어로 변환하는 기능을 구현할 것입니다. 계산…
- 27단계 테일러 급수 미분: 지금부터는 DeZero를 사용하여 구체적인 문제를 몇 개 풀어보겠습니다. 이번 단계의 목표는
sin함수의 미분입니다. 아시다시피sin의 미분은 해석적으로 풀립니다. 그러니 우선은 정공법을 써서sin함수를 DeZero로 구현하고, 이어… - 28단계 함수 최적화: DeZero는 이제 미분을 자동으로 계산할 줄 압니다. 미분은 다양한 분야에서 다양한 용도로 활용되며, 그중 가장 중요한 용도로 함수 최적화를 들 수 있습니다. 이번 단계에서는 구체적인 함수를 대상으로 최적화를 해보겠습니다. 이번 단계에서는 로젠브록…
- 29단계 뉴턴 방법으로 푸는 최적화(수동 계산): 이전 단계에서는 로젠브록 함수의 최솟값을 경사하강법으로 구해봤는데, 기울기를 구하는 작업을 5만 번 가까이 반복하고 나서야 겨우 목적지에 도달했습니다. 그 예에서 알 수 있듯이 경사하강법은 일반적으로 수렴이 느리다는 단점이 있습니다. 경사하강법을 대체…
- 30단계 고차 미분(준비 편): 현재의 DeZero는 미분을 자동으로 계산할 수 있지만 1차 미분 한정입니다. 그래서 이번 단계에서는 2차 미분도 자동으로 계산할 수 있도록, 나아가 3차 미분, 4차 미분, $\dots$ 형태의 모든 고차 미분까지 자동으로 계산할 수 있도록 DeZe…
서브목차