칼럼 앞으로 앞으로

이번 칼럼에서는 DeZero의 ‘향후 계획’을 몇 가지 이야기합니다. 앞으로 DeZero를 어떻게 더 확장할 수 있을지, OSS(오픈 소스 소프트웨어)로서 어떤 기능이나 자료가 필요한지 등을 생각나는 대로 정리했습니다. 그리고 본문에서 다루지 못한 DeZero 제작 뒷이야기(로고 만들기 등)도 실었습니다.

함수와 계층 추가

본문에서도 제법 다양한 함수와 계층을 구현했지만, 아직 구현하지 못한 함수와 계층도 얼마든지 있습니다. 대표적으로 텐서 곱을 해주는 tensorDot 함수와 배치 정규화를 해주는 batchNorm 함수 등이 떠오르네요. 다른 딥러닝 프레임워크들을 살펴보면 이외에도 필요한 함수와 계층을 더 찾을 수 있습니다. 예컨대 파이토치 문서를 보면 DeZero에는 없는 함수가 많이 보일 것입니다.

메모리 사용 효율 개선

딥러닝 프레임워크에서는 메모리를 얼마나 효율적으로 쓰느냐가 중요한 관심사입니다. 특히 대규모 신경망은 메모리를 많이 사용하기 때문에 데이터를 물리적인 메모리에 다 담지 못하는 문제가 흔히 발생합니다. DeZero에도 메모리 효율을 높여주는 개선을 몇 가지 반영해뒀습니다. 예를 들어 개선 전에는 순전파 시의 계산 결과(데이터를 담은 ndarray 인스턴스)를 모두 유지했습니다. 이 데이터를 역전파 때도 사용할 수 있으니 모든 중간 결과를 버리지 않고 있던 것이죠. 그러나 함수에 따라 중간 결과가 필요 없는 경우도 있습니다. 예를 들어 tanh 함수는 순전파 때 입력한 데이터 없이도 역전파를 계산할 수 있습니다. 따라서 순전파의 입력 데이터는 즉시 지워도 상관없습니다. 이러한 이유로 함수에서 데이터를 유지할지 여부를 선택할 수 있는 구조가 필요합니다. 실제로 체이너와 파이토치에도 이런 구조가 구현되어 있답니다. 관심 있는 분은 체이너의 ‘Aggressive Buffer Release [24]’ 구조 등을 읽어보면 도움이 될 겁니다.

정적 계산 그래프와 ONNX 지원

DeZero는 Define-by-Run(동적 계산 그래프) 방식으로 계산 그래프를 만듭니다. 대척점인 Define-and-Run(정적 계산 그래프) 방식은 제공하지 않습니다. 정적 계산 그

래프는 성능이 중요한 환경에서 유리합니다. 또한 정적 계산 그래프를 컴파일(변환)하면 파이썬이 없는 환경에서도 실행되게 만들 수 있죠. 이러한 장점이 있으니 DeZero도 정적 계산 그래프로 동작하는 구조를 갖추면 더 좋을 것입니다.

한편 딥러닝 분야에서는 ONNX[40]라는 데이터 포맷을 사용하기도 합니다. ONNX는 딥러닝 모델을 표현하는 데 사용되는 포맷으로, Open Neural Network Exchange의 약자입니다. 그리고 이미 많은 프레임워크가 지원합니다. ONNX를 사용하면 학습된 모델을 다른 프레임워크로 쉽게 이식할 수 있습니다. DeZero도 ONNX에 대응하면 다양한 프레임워크와 손쉽게 모델을 주고받을 수 있어서 범용성이 높아질 것입니다.

PyPI에 공개

소프트웨어 개발이 일단락되면 사용자가 쉽게 활용할 수 있도록 패키지로 묶어서 제공하는 게 관례입니다. 파이썬의 경우는 PyPI라는 패키지 저장소를 주로 활용합니다. DeZero를 PyPI에 등록하면 사용자는 pip install ... 명령으로 쉽게 본인의 작업 환경에 설치할 수 있습니다. 그러면 전 세계 누구라도 쉽게 DeZero를 이용할 수 있을 겁니다.

DeZero는 이미 PyPI에 등록되어 있습니다. PyPI에 등록하는 방법은 인터넷에서 쉽게 검색할 수 있으니 참고하시기 바랍니다. 이 책에서 소개한 DeZero를 기반으로 독자적인 프레임워크를 개발하고 세상에 공개하는 것도 물론 환영입니다. 꼭 도전해보세요!

API 문서 준비

프레임워크(또는 라이브러리)를 공개할 때는 사용자를 위한 가이드 문서를 함께 제공하는 게 좋습니다. 유명한 프레임워크는 대부분 함수나 클래스 등의 API 사용법을 문서로 제공합니다.

파이썬은 docstring이라는 문서화용 주석을 지원하며, 개발자가 함수나 클래스 등을 설명하는 용도로 많이 이용합니다. 활용법은 어렵지 않습니다. 코드상에 주석을 정해진 포맷으로 남기기만 하면 됩니다.

DeZero의 실제 코드에도 docstring을 추가해줬습니다. 예를 들어 다음은 dezero/cuda.py에 있는 as_cupy 함수의 실제 코드입니다.

def as_cupy(x):
    """Convert to `cupy.ndarray`.

    Args:
        x (`numpy.ndarray` or `cupy.ndarray`): Arbitrary object that can be
            converted to `cupy.ndarray`.
    Returns:
        `cupy.ndarray`: Converted array.
    """
    if isinstance(x, Variable):
        x = x.data

    if not gpu_enable:
        raise Exception('CuPy cannot be loaded. Install CuPy!')
    return cp.asarray(x)

이와 같이 함수의 개요, 인수의 형태, 반환 타입 등을 주석으로 설명해뒀습니다. 설명하는 형식은 ‘넘파이 스타일’, ‘구글 스타일’ 등 유명한 포맷이 몇 가지 있으니 맘에 드는 것을 따르면 됩니다. DeZero는 구글 스타일을 채택했습니다. 이와 같은 설명이 있으면 사용자가 함수를 이해하는 데 도움이 됩니다. 물론 설명을 우리말로 적을 수도 있습니다만, 다른 언어권 사용자와 번역서 독자들을 위해 영어로 작성했습니다.

이처럼 코드에 docstring이 준비되어 있으면 Sphinx[39] 같은 도구를 사용하여 HTML이나 PDF 등의 포맷으로 API 문서를 뽑아낼 수 있습니다.

로고 제작

오픈소스 소프트웨어라면 로고 만들기도 생각해볼 수 있습니다. 매력적인 로고는 사용자의 기억에 남으니까요. 로고는 개발자가 직접 만들 수도 있지만, 더 매력적인 디자인을 원한다면 전문 디자이너에게 부탁하는 것도 방법입니다. 최근에는 크라우드 소싱으로 제작하는 경우도 많이 볼 수 있습니다. 실제로 DeZero 로고도 크라우드 소싱으로 공모하여 만들었습니다. 멋진 디자인 감사합니다.

구현 예 추가

DeZero를 만드는 일도 물론 재미있지만, DeZero를 사용하여 유명한 연구 성과를 내

거나 스스로 생각한 새로운 모델을 구현한다면 의미가 남다를 것입니다. 이런 활동의 일환으로 DeZero를 사용한 구현 예를 늘려가는 것도 생각해볼 수 있습니다. GAN[41], VAE[42], Style Transfer[43] 등의 유명 연구를 DeZero로 구현하면 DeZero의 사용법을 더 잘 이해할 수 있습니다. 그 과정에서 DeZero의 부족한 점도 보일 것이고요. dezero/examples에는 DeZero를 사용한 구현 예가 이미 몇 가지 들어 있고, 더 추가할 예정입니다. 관심 있는 분은 참고하기 바랍니다.

서브목차