10단계 테스트

소프트웨어 개발에서는 테스트를 빼놓을 수 없습니다. 테스트를 해야 실수(버그)를 예방할 수 있으며 테스트를 자동화해야 소프트웨어의 품질을 유지할 수 있습니다. DeZero도 마찬가지입니다. 그래서 이번 단계에서는 테스트 방법, 특히 딥러닝 프레임워크의 테스트 방법에 대해 설명하겠습니다.

그림 10-1 딥러닝 프레임워크와 테스트의 중요성 그림 10-1: 복잡한 계산 그래프의 무결성을 지키고 버그를 방지하는 자동화 테스트


NOTE
소프트웨어 테스트는 규모가 커지면 독특한 규약이나 세세한 규칙이 많아지기 쉽습니다. 그렇다고 테스트를 처음부터 어렵게 생각할 필요는 없습니다. 우선 ‘테스트한다’는 그 자체가 중요합니다. 이번 단계에서는 본격적인 테스트가 아니라 가능한 한 간단한 테스트를 해보겠습니다.

그림 10-2 테스트를 대하는 가벼운 마음가짐 그림 10-2: 거창한 규칙보다 ‘작은 단위부터 테스트한다’는 핵심 실천의 중요성


10.1 파이썬 단위 테스트

파이썬으로 테스트할 때는 표준 라이브러리에 포함된 unittest를 사용하면 편합니다. 여기에서는 이전 단계에서 구현한 square 함수를 테스트해봅시다.

그림 10-3 파이썬 표준 라이브러리 unittest 그림 10-3: 파이썬에 내장된 신뢰도 높은 단위 테스트 도구 unittest


코드는 다음과 같습니다.

steps/step10.py

import unittest

class SquareTest(unittest.TestCase):
    def test_forward(self):
        x = Variable(np.array(2.0))
        y = square(x)
        expected = np.array(4.0)
        self.assertEqual(y.data, expected)

이와 같이 우선 unittest를 임포트하고 unittest.TestCase를 상속한 SquareTest 클래스를 구현합니다. 여기서 기억할 규칙이 있습니다. 테스트할 때는 이름이 test로 시작하는 메서드를 만들고 그 안에 테스트할 내용을 적습니다. 앞의 테스트는 square 함수의 출력이 기댓값 expected과 같은지 확인합니다. 정확하게는 입력이 2.0일 때 출력이 4.0이 맞는지 확인합니다.

그림 10-4 TestCase 클래스와 test_ 메서드 규칙 그림 10-4: test로 시작하는 메서드를 통해 테스트 시나리오를 정의하는 규칙


NOTE
앞의 예에서 square 함수의 출력이 기댓값과 같은지 확인하기 위해 self.assertEqual이라는 메서드를 사용했습니다. 이 메서드는 주어진 두 객체가 동일한지 여부를 판정합니다. 이 메서드 외에도 self.assertGreater와 self.assertTrue 등 unittest에는 다양한 메서드가 준비되어 있습니다. 다른 메서드들의 사용법은 unittest 문서를 참고하세요.

그림 10-5 assertEqual을 통한 기댓값 판정 그림 10-5: 계산된 출력과 이론적 기댓값이 동일한지 검증하는 assertEqual


이제 테스트를 실행해볼까요? 앞의 테스트 코드가 steps/step10.py 파일에 있다고 가정했을 때 터미널에서 다음 명령을 실행하면 됩니다.

$ python -m unittest steps/step10.py

python 명령을 실행할 때 앞의 예처럼 -m unittest 인수를 제공하면 파이썬 파일을 테스트 모드로 실행할 수 있습니다.


혹은 step10.py 파일 끝에 다음 코드를 추가하면 평소처럼 python steps/step10.py만 입력해도 테스트를 수행할 수 있습니다.

# step10.py
unittest.main()

테스트가 뭐라고 출력했는지 확인할 차례입니다. 실제로 앞의 명령을 실행하면 다음 결과가 출력됩니다.

실행 결과

.
----------------------------------------------------------------------
Ran 1 tests in 0.000s

OK

‘1개의 테스트를 실행했고, 결과는 OK다’라는 뜻입니다. 즉, 테스트를 통과한 것입니다. 만약 무언가 문제가 있다면 ‘FAIL: test_forward (step10.SquareTest)’ 같은 문장이 출력되어 테스트가 실패했음을 알려줄 것입니다.


10.2 square 함수의 역전파 테스트

이어서 square 함수의 역전파도 테스트해보겠습니다. 방금 구현한 SquareTest 클래스에 다음 코드를 추가합니다.

steps/step10.py

class SquareTest(unittest.TestCase):
    ...

    def test_backward(self):
        x = Variable(np.array(3.0))
        y = square(x)
        y.backward()
        expected = np.array(6.0)
        self.assertEqual(x.grad, expected)

test_backward 메서드를 추가했습니다. 메서드 안에서 y.backward()로 미분값을 구하고, 그 값이 기댓값과 일치하는지 확인합니다. 참고로 여기에서 설정한 기댓값 6.0은 손으로 계산해서 구한 값을 하드코딩한 것입니다.


그럼 다시 테스트를 돌려봅시다. 결과는 다음과 같습니다.

실행 결과

..
----------------------------------------------------------------------
Ran 2 tests in 0.001s

OK

결과를 보면 2개의 테스트를 통과했음을 알 수 있습니다. 원한다면 지금까지와 같은 요령으로 다른 테스트 케이스(입력과 기댓값)도 추가해나갈 수 있습니다. 테스트 케이스가 많아질수록 square 함수의 신뢰도도 높아질 겁니다. 그리고 코드를 수정할 때마다 즉시즉시 테스트를 실행해주면 square 함수의 상태를 반복해서 확인할 수 있습니다.


10.3 기울기 확인을 이용한 자동 테스트

앞 절에서 역전파 테스트를 작성하며 미분의 기댓값을 손으로 계산해 입력했습니다. 사실 이 부분을 자동화할 방법이 있습니다. 바로 기울기 확인gradient checking이라는 방법이죠. 기울기 확인이란 수치 미분으로 구한 결과와 역전파로 구한 결과를 비교하여 그 차이가 크면 역전파 구현에 문제가 있다고 판단하는 검증 기법입니다.

그림 10-6 테스트 실행과 초록빛 OK 결과 그림 10-6: 터미널에서 모든 테스트 케이스가 통과했음을 알리는 OK 사인


NOTE
우리는 4단계에서 수치 미분을 구현했습니다. 수치 미분은 쉽게 구현할 수 있고 거의 정확한 미분값을 내어줍니다. 따라서 수치 미분의 결과와 비교하면 역전파를 정확히 구현했는지 검증할 수 있습니다.

그림 10-7 역전파 backward 테스트 그림 10-7: 순전파뿐만 아니라 역전파로 구해진 기울기(x.grad)의 정확성 검증


기울기 확인은 (기댓값을 몰라도) 입력값만 준비하면 되므로 테스트 효율을 높여줍니다. 그러니 우리 테스트에서도 기울기 확인을 이용하겠습니다. 4단계에서 구현한 numerical_diff 함수를 사용하면 되겠군요.

그림 10-8 기울기 확인(Gradient Checking)의 원리 그림 10-8: 수치 미분값과 역전파 미분값을 비교하여 구현의 정합성을 교차 검증


복습도 겸해서 이 함수의 코드까지 함께 보여드리겠습니다.

steps/step10.py

def numerical_diff(f, x, eps=1e-4):
    x0 = Variable(x.data - eps)
    x1 = Variable(x.data + eps)
    y0 = f(x0)
    y1 = f(x1)
    return (y1.data - y0.data) / (2 * eps)

class SquareTest(unittest.TestCase):
    ...

    def test_gradient_check(self):
        x = Variable(np.random.rand(1)) # 무작위 입력값 생성
        y = square(x)
        y.backward()
        num_grad = numerical_diff(square, x)
        flg = np.allclose(x.grad, num_grad)
        self.assertTrue(flg)

기울기 확인을 할 test_gradient_check 메서드 안에서 무작위 입력값을 하나 생성합니다.


이어서 역전파로 미분값을 구하고, numerical_diff 함수를 사용해서 수치 미분으로도 계산해봅니다. 그런 다음 두 메서드로 각각 구한 값들이 거의 일치하는지 확인합니다. 이때 np.allclose라는 넘파이 함수를 이용합니다.

그림 10-9 손 계산의 번거로움 해소 그림 10-9: 손으로 기댓값을 일일이 미분하지 않고 수치 미분을 참값(Ground Truth)으로 활용


np.allclose(a, b)는 ndarray 인스턴스인 $a$ 와 $b$ 의 값이 가까운지close 판정합니다. 얼마나 가까워야 가까운 것인지는 np.allclose(a, b, rtol=1e-05, atol=1e-08)과 같이 인수 rtol과 atol로 지정할 수 있습니다.

그림 10-10 np.allclose를 통한 부동소수점 근사 판정 그림 10-10: 미세한 오차가 발생하는 부동소수점 연산에서 허용 오차 내 일치 여부 판정


이 함수는 $a$ 와 $b$ 의 모든 요소가 다음 조건을 만족하면 True를 반환합니다.

\[|a - b| \le (\text{atol} + \text{rtol} \times |b|)\]

그림 10-11 allclose 판정 수식의 이해 그림 10-11: 절대 오차(atol)와 상대 오차(rtol)를 결합한 판정 부등식


참고: 수식에서 $ \cdot $ 는 절댓값을 뜻합니다.

한편 기울기 확인을 하는 대상의 계산(함수)에 따라 atol과 rtol의 값을 미세하게 조정해야 할 수도 있습니다. 기준을 정하는 데는 참고문헌 등을 참고하면 도움이 됩니다. 그럼 이상의 기울기 확인을 코드에 추가하고 테스트를 돌려봅시다.

그림 10-12 무작위 입력값을 활용한 테스트 확장 그림 10-12: np.random.rand로 생성한 임의의 입력값으로 테스트의 일반성 확보


이번에 얻은 결과는 다음과 같습니다.

실행 결과

...
Ran 3 tests in 0.001s

OK

이와 같이 기울기 확인을 이용하면 미분을 자동으로 계산하는 딥러닝 프레임워크를 반자동으로 테스트할 수 있고, 덕분에 더 체계적으로 더 넓은 범위를 검증하는 테스트 케이스를 만들 수 있습니다.


10.4 테스트 정리

DeZero 개발에 한정한다면 테스트에 관한 지식은 이 정도면 충분합니다. 여기서 배운 것만으로도 DeZero 테스트 코드를 작성하는 데 아무런 무리가 없을 겁니다. 다만 앞으로 이 책에서는 테스트에 대한 직접적인 설명은 생략하고 진행하겠습니다. 만약 테스트 코드가 필요하다고 느껴지면 스스로 추가해보기 바랍니다.

그림 10-13 3개 테스트 전체 통과 트로피 그림 10-13: 순전파, 수동 기댓값 역전파, 기울기 확인 테스트 모두 완벽 통과


또한 테스트 파일들은 하나의 장소에 모아 관리하는 것이 일반적입니다. 이 책에서도 테스트 코드는 tests 디렉터리에 모아뒀습니다(테스트용 편의 기능도 추가로 구현해뒀습니다). 관심 있는 분은 해당 테스트 코드를 찾아보세요. 이번 단계에서 작성한 것과 비슷한 코드를 많이 발견할 수 있을 겁니다.

그림 10-14 unittest discover 명령을 통한 자동 탐색 그림 10-14: 디렉터리 내 모든 테스트 파일을 일괄 발굴하여 실행하는 discover 기능


덧붙여서, 테스트 파일들은 다음 명령으로 한꺼번에 실행할 수 있습니다.

$ python -m unittest discover tests

이와 같이 discover라는 하위 명령을 사용하면 discover 다음에 지정한 디렉터리에서 테스트 파일이 있는지 검색합니다. 그리고 발견한 모든 파일을 실행하는 것이죠. 기본적으로는 지정한 디렉터리에서 이름이 test*.py 형태인 파일을 테스트 파일로 인식합니다(변경할 수 있습니다). 이것으로 tests 디렉터리에 들어 있는 모든 테스트를 한 번에 실행할 수 있습니다.


NOTE
DeZero의 tests 디렉터리에는 정답을 체이너(Chainer)에게 묻는 테스트도 있습니다. 예를 들어 시그모이드 함수를 테스트하는 경우 동일한 입력으로 DeZero와 Chainer 각각에 계산을 시키고 출력값이 거의 같은지 비교합니다.

그림 10-15 지속적 통합(CI) 환경과의 연계 그림 10-15: 깃허브 액션 등 CI 서버와 결합하여 코드 커밋마다 자동으로 테스트 수행


또한 DeZero의 깃허브 저장소는 트래비스 CITravis CI라는 지속적 통합continuous integration (CI) 서비스와 연계해뒀습니다. DeZero의 깃허브 저장소에서 코드를 푸시push하고, 풀 리퀘스트pull request를 병합하고, 매시간 자동으로 테스트가 실행되도록 설정해놓은 것이죠. 테스트 결과에 문제가 있으면 메일 등으로 보고됩니다.

그림 10-16 테스트 코드가 제공하는 안전망 그림 10-16: 코드베이스가 거대해져도 리팩터링을 두려워하지 않게 해주는 든든한 안전망


게다가 DeZero 깃허브 저장소의 첫 화면에는 [그림 10-1]과 같이 로고 하단 왼쪽에 빌드 상태가 표시되게 해뒀습니다.

그림 10-1 DeZero의 깃허브 저장소 첫 화면
그림 10-1 DeZero의 깃허브 저장소 첫 화면

지금의 DeZero는 작은 소프트웨어지만 앞으로 더 큰 소프트웨어로 성장시킬 것입니다. 여기에서 설명한 테스트 방식을 도입하면 성장 과정에서도 코드의 신뢰성을 꾸준히 유지할 수 있을 것입니다.


축하합니다! 이상으로 제1고지를 무사히 점령했습니다!

그림 10-17 자신감 있는 리팩터링의 원동력 그림 10-17: 테스트 스위트의 초록 신호등을 믿고 구조를 과감하게 개선하는 힘


★ ★ ★ ★ ★ ★ ★

여기까지 우리는 조금씩 그리고 꾸준히 DeZero를 만들어왔습니다. ‘작은 상자(변수)’밖에 없는 모습으로 탄생했지만 지금은 역전파라는 복잡한 알고리즘도 수행할 만큼 성장했습니다. 그러나 현재의 역전파 구현은 간단한 계산밖에 처리하지 못합니다. 그래서 다음 고지에서는 더 복잡한 계산에도 적용할 수 있도록 DeZero를 확장해보겠습니다.

그림 10-18 제1고지 완등과 제2고지로의 도약 그림 10-18: 10단계를 거쳐 미분 자동 계산의 기초를 확립하고 자연스러운 코드로 도약

서브목차