3단계 함수 연결

지금까지 DeZero의 ‘변수’와 ‘함수’를 만들어봤습니다. 그리고 2단계에서는 Square라는 제곱 계산용 함수 클래스를 구현했습니다. 이번 단계에서는 또 다른 함수를 구현하고 여러 함수를 조합해 계산할 수 있도록 하겠습니다.

이호진 교수님이 들려주는 함수 연결과 조합의 원리
이호진 교수님이 여러 함수 블록(Square, Exp)을 결합하여 강력한 계산 체인을 구성하는 원리를 소개하고 있습니다.


3.1 Exp 함수 구현

우선 DeZero에 새로운 함수를 하나 구현하겠습니다. 바로 $y = e^x$ 라는 계산을 하는 함수입니다. 여기서 $e$ 는 자연로그의 밑base of the natural logarithm으로 구체적인 값은 2.718… 입니다(오일러의 수Euler’s number 혹은 네이피어 상수Napier’s constant라고도 합니다).

이호진 교수님의 오일러 상수 e 설명
이호진 교수님이 자연상수이자 지수 함수의 밑인 오일러의 수(e ≈ 2.718…)의 수학적 성질을 설명하고 있습니다.


바로 구현해보죠.

steps/step03.py

class Exp(Function):
    def forward(self, x):
        return np.exp(x)

Square 클래스와 마찬가지로 Function 클래스를 상속한 다음 forward 메서드에서 원하는 계산을 구현했습니다. Square 클래스와의 차이는 forward 메서드의 내용이 x ** 2에서 np.exp(x)로 바뀐 점입니다.


3.2 함수 연결

Function 클래스의 __call__ 메서드는 입력과 출력이 모두 Variable 인스턴스이므로 자연스럽게 DeZero 함수들을 연이어 사용할 수 있습니다. $y = (e^{x^2})^2$ 이라는 계산을 예로 생각해보죠.

도로시와 토토의 3단계 함수 연쇄 계산 트랙 관찰
도로시와 토토가 입력 x=0.5에서 시작해 A(Square), B(Exp), C(Square)를 차례로 거치며 최종 출력 y가 계산되는 과정을 관찰하고 있습니다.


코드는 다음과 같이 작성할 수 있습니다.

steps/step03.py

A = Square()
B = Exp()
C = Square()

x = Variable(np.array(0.5))
a = A(x)
b = B(a)
y = C(b)
print(y.data)

실행 결과

1.648721270700128

3개의 함수 A, B, C를 연이어 적용했습니다. 여기서 중요한 점은 중간에 등장하는 4개의 변수 $x, a, b, y$ 가 모두 Variable 인스턴스라는 것입니다. Function 클래스의 __call__ 메서드의 입출력이 Variable 인스턴스로 통일되어 있는 덕분에 이와 같이 여러 함수를 연속하여 적용할 수 있는 것이죠.


참고로 방금 한 계산은 [그림 3-1]과 같이 함수와 변수가 교대로 늘어선 계산 그래프로 표현할 수 있습니다.

그림 3-1 여러 함수를 연이어 사용하는 계산 그래프
그림 3-1 여러 함수를 연이어 사용하는 계산 그래프(○은 변수, □은 함수)


NOTE
[그림 3-1]과 같이 여러 함수를 순서대로 적용하여 만들어진 변환 전체를 하나의 큰 함수로 볼 수도 있습니다. 이처럼 여러 함수로 구성된 함수를 합성 함수composite function라고 합니다. 합성 함수를 구성하는 각 함수의 계산은 간단하더라도, 연속으로 적용하면 더 복잡한 계산도 해낼 수 있다는 사실을 기억하세요.

조교 지니의 톱니바퀴 합성 함수(Composite Function) 강의
조교 지니가 서로 맞물린 톱니바퀴 모형을 통해 단순한 함수들이 모여 복잡한 합성 함수를 이루는 원리를 설명하고 있습니다.


그런데 일련의 계산을 ‘계산 그래프’로 보여드린 이유는 무엇일까요?

그 이유는 계산 그래프를 이용하면 각 변수에 대한 미분을 효율적으로 계산할 수 있기 때문이랍니다(정확하게는 그럴 준비가 됩니다).

그리고 변수별 미분을 계산하는 알고리즘이 바로 역전파입니다. 다음 단계부터는 역전파를 구현할 수 있도록 DeZero를 확장하겠습니다.

이호진 교수님이 안내하는 순전파에서 역전파로의 도약 관문
이호진 교수님이 순전파 계산 그래프를 기반으로 다음 단계에서 펼쳐질 역전파(Backpropagation)의 세계를 안내하고 있습니다.

서브목차