[Python(AI)] Python 개발자를 위한 GPU 가속 : nvmath-python과 cuda.core

파이썬은 AI, 데이터 과학 분야에서 독보적인 언어지만, 복잡한 수치 연산을 빠르게 처리하는 데는 GPU(그래픽 처리 장치)의 도움이 필수적입니다. 과거에는 GPU를 활용하려면 C/C++ 바인딩이라는 복잡한 과정을 거쳐야 했지만, 이제 NVIDIA가 직접 제공하는 두 가지 강력한 라이브러리 nvmath-python 과 cuda.core 덕분에 파이썬으로도 GPU의 성능을 100% 활용할 수 있게 되었습니다.

 

개요 : 두 라이브러리의 역할 분담

NVIDIA는 CUDA Python 이라는 메타 패키지를 통해 파이썬에서 CUDA 플랫폼에 접근할 수 있는 여러 컴포넌트를 제공합니다. nvmath-python 과 cuda-core는 이 중 핵심 역할을 담당합니다.

• nvmath-python : 고도로 최적화된 수학 함수(선형 대수, FFT 등) 제공 / 고성능 수치 연산(cuBLASLt, cuFFT 등 활용)
• cuda.core : CUDA 런타임 및 드라이버 API에 대한 파이썬 ic 접근 제공 / 저수준 GPU 제어 및 컴파일러 도구 체인 접근

nvmath-python(NVIDIA Math Python)

• 주제 개념 : NVIDIA의 CUDA-X Math Libraries (cuBLAS, cuFFT 등)에 대한 파이썬 친화적(Pythonic) 고성능 인터페이스
• CUDA-X Math Libraries : NVIDIA GPU에 최적화된 고성능 수학 함수 집합(ex 행렬 곱셈을 위한 cuBLASLt, 고속 푸리에 변환을 위한 cuFFT)
• Pythonic : 파이썬 언어의 관습과 철학을 따르는, 즉 파이썬 개발자에게 자연스럽고 직관적인 코드 스타일
• 실생활 예시 : 자동차의 최고급 엔진(CUDA-X Libraries)을 복잡한 정비 도구(C/C++ 바인딩) 없이 쉬운 운전대와 페달(nvmath-python API)로 바로 조작할 수 있게 해주는 것과 같습니다.

cuda.core(CUDA Core)

• 주제 개념 : CUDA 드라이버 및 런타임과 같은 코어 기능에 대한 직접적이고 파이썬 다운 접근을 제공하는 라이브러리
• CUDA Driver / Runtime : GPU를 초기화하고, 메모리를 관리하며, GPU에 커널(Kernel)이라는 병렬 연산 코드를 실행하는 저수준 제어 매커니즘
• Kernel : GPU에서 병렬로 실행되는 함수 또는 코드 블럭
• JIT Compiler(NVRTC) : 런타임(실행 시점)에 코드를 컴파일하여 GPU에서 실행할 수 있도록 하는 도구
• 실생활 예시 : 건물을 지을 때 건축장비(GPU)를 작동시키는 제어실 또는 조정석 역할을 합니다. 장비의 전원을 켜고, 메모리(재료)를 배치하고, 작업(커널)을 시작하는 모든 저수준 명령을 내릴 수 있습니다. 

왜 사용해야 하는가?(필요성과 사용 시점)

왜 필요한가?

기존의 NumPy, PyTorch, CuPy 같은 라이브러리는 훌륭하지만, NVIDIA의 모든 최신 하드웨어 기능이나 고급 최적화 옵션을 완벽하게 활용하는 데는 한계가 있었습니다. 특히 행렬 곱셈의 혼합 정밀도(Mixed-Precision) 제어, 사용자 정의 Epilog/Prolog와 같은 세밀한 기능은 기존 프레임워크에서 노출되지 않는 경우가 많습니다.

• nvmath-python : NVIDIA가 수년간 최적화해 온 수학 라이브러리의 모든 매개변수를 파이썬에서 직접 제어하여 최고 수준의 성능과 효율을 달성하기 위해 필요합니다.
• cuda.core : GPU 메모리 할당, CUDA 스트림 관리, 런타임 컴파일과 같은 저수준 CUDA 기능을 C/C++ 코드 없이 오직 파이썬으로 다루기 위해 필요합니다.

언제 사용하는가 ?

• nvmath-python
  • 딥러닝 모델의 배치 행렬 곱셈 성능을 극대화할 때
  • 대규모 FFT 연산을 최고 속도로 처리해야할 때
  • cuBLASLt의 고급 기능(예 : Epilog를 포함한 융합 커널)을 직접 활용하여 성능을 튜닝할 때
• cuda.core
  • 커스텀 CUDA 커널을 직접 파이썬에서 빌드하고 실행해야할 때 (NVRTC/nvJitLink 사용)
  • 멀티-GPU 환경에서 CUDA 스트림이나 이벤트를 정밀하게 동기화하고 관리해야할 때
  • Numba와 같은 다른 Python-CUDA 생태계와 연동하여 저수준 GPU 기능을 활용하고자 할 때

실제 작동 원리 및 특징

nvmath-python의 특징 : pythonic 고성능 수학

nvmath-python은 단순히 C API를 감싼 래퍼(Wrapper)가 아닙니다. 파이썬 환경에 맞게 재구성된 클래스기반(Stateful)또는 함수 기반(Stateless) API를 제공합니다.

• Matmul 객체(Stateful API)
  • 행렬 곱셈(matmul)을 수행할 때, 반복적으로 같은 크기의 연산을 수행할 경우 객체 기반 상태 관리를 통해 연산 계획(Plan)을 한 번만 수립하고 재활용합니다.
  • 작동원리 : Matmul 객체를 생성할 때 최적의 연산 계획을 cuBLASLt 라이브러리를 통해 미리 계산해 두고, excute() 만 반복해서 호출하여 계획 수립에 드는 오버헤드를 줄입니다.
• 융합 커널(Fused Kernel)
  • 행렬 곱셈 결과에 바이어스를 더하거나, 후처리(Epilog) 함수를 적용하는 작업을 별도의 커널 호출 없이 단일 융합 커널로 처리하여 메모리 접근 횟수를 최소화하고 효율을 극대화합니다.
• 높은 상호 운용성 : CuPy, PyTorch, NumPy의 데이터 구조를 인풋으로 바로 사용할 수 있어 기존 워크플로우에 쉽게 통화됩니다.

cuda.core의 특징 : 저수준 CUDA 제어

cuda.core는 파이썬 개발자에게 CUDA 개발 도구 체인을 열어줍니다.

• CUDA Driver 및 Runtime 접근 : GPU 장치 목록 조회, 메모리 할당 및 해제, 스트림 및 이벤트 관리 등 CUDA C API의 핵심 기능을 파이썬 클래스와 함수로 제공합니다.
• 런타임 컴파일 : NVRTC(NVIDIA Runtime Compilation) 및 nvJitLink 기능을 파이썬에서 직접 사용하여 CUDA C++ 코드를 실행 시점에 컴파일하고 GPU에 로드하여 실행할 수 있습니다.
• PYthonic 재해석 : C 언어의 포인터나 복잡한 메모리 관리 구조를 파이썬의 컨텍스트 매니저나 객체 지향적인 방식으로 추상화하여 사용 편의성을 높였습니다.

 사용 사례 및 예시 코드(파이썬)

1. nvmath-python 예시 : 고성능 행렬 곱셈

최적화된 cuBLASLt 기능을 활용해 행렬 곱셈 결과에 바이어스를 더하는 예시(가상의 코드로 이해를 돕습니다.)

import cupy as cp
import nvmath.linalg.advanced as nvmath_linalg

# 1. CuPy로 텐서(행렬) 생성
M, K, N = 1024, 512, 1024
A = cp.random.rand(M, K).astype(cp.float32)
B = cp.random.rand(K, N).astype(cp.float32)
Bias = cp.random.rand(M, N).astype(cp.float32)

# 2. Matmul 객체 생성 및 Epilog 정의 (행렬 곱셈 후 바이어스 덧셈)
# nvmath는 행렬 곱셈(A*B)과 바이어스 덧셈을 하나의 커널에서 처리하여 속도를 높입니다.
matmul_plan = nvmath_linalg.Matmul(
    A.shape, B.shape, 
    compute_type=nvmath_linalg.MatmulComputeType.F16, # 혼합 정밀도 지정
    epilog=nvmath_linalg.MatmulEpilog.BIAS # Epilog로 바이어스 덧셈 지정
)

# 3. 연산 실행
C = matmul_plan.execute(A, B, bias=Bias)

# 결과 C = (A @ B) + Bias
print("nvmath-python: Fused Matmul (A*B + Bias) 실행 완료")

 

2. cuda.core 예시 : 커널 런타임 컴파일 및 실행

파이썬 문자열로 정의된 CUDA 커널을 런타임에 컴파일하고 실행하는 저수준 제어 예시(가상의 코드로 이해를 돕습니다.)

import cuda.core
import numpy as np

# 1. CUDA 커널 소스 코드 정의 (C++ 문자열)
kernel_source = r"""
extern "C" __global__ void add_one(float* data, int n)
{
    int idx = blockIdx.x * blockDim.x + threadIdx.x;
    if (idx < n)
    {
        data[idx] += 1.0f;
    }
}
"""

# 2. NVRTC를 사용하여 커널을 런타임에 컴파일
program = cuda.core.Program(kernel_source, "add_one")
compiled_code = program.compile()

# 3. 데이터 준비 및 GPU 메모리 할당
data_np = np.array([1.0, 2.0, 3.0, 4.0], dtype=np.float32)
gpu_buffer = cuda.core.Buffer.from_host(data_np) 

# 4. 커널 실행 (저수준 런타임 제어)
block_dim = (256, 1, 1)
grid_dim = ((data_np.size + 256 - 1) // 256, 1, 1)
kernel = cuda.core.Kernel(compiled_code, "add_one")
kernel.launch(grid_dim, block_dim, (gpu_buffer, data_np.size))

# 5. 결과 다시 호스트(CPU)로 복사
gpu_buffer.copy_to_host(data_np)
print(f"CUDA 커널 실행 결과 (모든 요소에 +1): {data_np}")

 

장점 & 단점

구분	장점	단점
성능 / 효율	C/C++ 바인딩 없이 네이티브에 가까운 GPU 성능 달성. 고급 라이브러리 기능(Epilog, Mixed-Precision) 활용 가능	범용 프레임워크(PyTorch, TensorFlow)에 비해 추상화 수준이 낮아 코드가 길어질 수 있음
개발 편의성	Pythonic API를 통해 기존 CUDA C/C++ 개발 지식이 없이도 저수준 GPU 제어 및 고성능 수학 연산 기능	cuda.core 의 경우 CUDA 런타임 개념에 대한 이해가 필요하며, API가 저수준이어서 학습 곡선이 존재함
생태계 통합	CuPy, PyTorch 등과 데이터 호환성이 뛰어나 기존 파이썬 생태계와 원할하게 통합됨	nvmath-python은 베타 버전으로 제공되어 완전한 안정성이 보장되지 않을 수 있음

 

Python GPU 프로그래밍의 새로운 지평

nvmath-python 과 cuda.core는 파이썬 개발자에게 GPU 성능의 최고 단계(Extreme Level)를 해방시켜주는 핵심 도구입니다.

파이썬의 생산성(Productivity)과 GPU 병렬 성능(Performance)이 충돌하던 시대는 끝났습니다. 복잡한 딥러닝 모델의 성능을 튜닝하든, 과거 연산을 가속화하든, 이 두 라이브러리를 활용하면 C/C++ 의 장벽 없이 파이썬 코드 내에서 NVIDIA GPU 의 모든 잠재력을 끌어낼 수 있습니다.