ONNX (Open Neural Network Exchange)

**ONNX (Open Neural Network Exchange)**는 머신러닝 모델을 표현하기 위해 설계된 오픈소스 포맷으로, 다양한 AI 프레임워크와 도구 간의 상호 운용성을 제공합니다. 이 포맷은 딥러닝을 위한 범용 번역기 역할을 하여, 개발자가 PyTorch, TensorFlow, Scikit-learn 등의 하나의 프레임워크에서 모델을 구축하고 추론에 최적화된 다른 환경에 원활하게 배포할 수 있도록 지원합니다. ONNX는 공통 연산자 세트와 표준 파일 포맷을 정의함으로써, 연구 단계에서 프로덕션 단계로 모델을 이동하는 데 과거에 필요했던 복잡하고 맞춤화된 변환 스크립트의 필요성을 없애줍니다. 이러한 유연성은 현대 AI 워크플로우에서 매우 중요한데, 강력한 클라우드 GPU에서 학습이 이루어지는 동안 배포는 엣지 디바이스, 휴대폰, 웹 브라우저 등 다양한 하드웨어를 대상으로 할 수 있기 때문입니다.

현대 AI에서 ONNX의 역할#

급변하는 인공지능 생태계에서 연구원과 엔지니어는 개발 수명 주의의 각기 다른 단계에서 종종 서로 다른 도구를 사용합니다. 데이터 사이언티스트는 실험과 학습을 위해 PyTorch의 유연성을 선호할 수 있는 반면, 프로덕션 엔지니어는 배포를 위해 TensorRT나 OpenVINO의 최적화된 성능이 필요합니다. 표준 교환 포맷이 없다면, 이러한 생태계 간에 모델을 이동하는 것은 어렵고 오류가 발생하기 쉽습니다.

ONNX는 연산 그래프의 공유 정의를 제공하여 이러한 간극을 메웁니다. 모델이 ONNX로 내보내질 때, 네트워크 구조(레이어, 연결)와 파라미터(가중치, 편향)를 프레임워크에 구애받지 않는 방식으로 캡처하는 포맷으로 직렬화됩니다. 이를 통해 하드웨어 가속에 특화된 추론 엔진(ONNX Runtime 등)이 Linux, Windows, macOS, Android, iOS를 포함한 여러 플랫폼에서 모델을 효율적으로 실행할 수 있습니다.

ONNX 사용의 주요 이점#

Open Neural Network Exchange 형식을 채택하면 AI 프로젝트에 다음과 같은 전략적 이점을 얻을 수 있습니다:

• 프레임워크 상호 운용성: 개발자는 단일 생태계에 갇히지 않고 프레임워크 간을 전환할 수 있습니다. 사용자 친화적인 Ultralytics Python API를 사용하여 모델을 학습시키고, 이를 C++ 애플리케이션이나 웹 기반 JavaScript 환경에서 사용할 수 있도록 내보낼 수 있습니다.
• 하드웨어 최적화: 많은 하드웨어 제조사가 ONNX와 인터페이스하는 특화된 실행 공급자를 제공합니다. 즉, 단일 .onnx 파일은 OpenVINO나 CoreML 같은 도구를 사용하여 NVIDIA GPU, Intel CPU, 모바일 NPU(신경망 처리 장치)에서 가속화될 수 있습니다.
• 더 빠른 추론: ONNX Runtime은 노드 융합 및 상수 폴딩과 같은 그래프 최적화를 적용하여 추론 지연 시간을 크게 줄일 수 있습니다. 이는 자율주행차나 고속 제조 라인과 같은 실시간 애플리케이션에 필수적입니다.
• 간소화된 배포: 엔지니어링 팀은 모든 학습 프레임워크마다 별도의 배포 파이프라인을 유지 관리하는 대신, ONNX를 전달 포맷으로 표준화하여 ModelOps 프로세스를 간소화할 수 있습니다.

실제 애플리케이션 사례#

ONNX의 범용성 덕분에 다양한 산업 분야에서 핵심 요소로 자리 잡았습니다. 다음은 그 적용 사례에 대한 두 가지 구체적인 예시입니다:

모바일 디바이스에서의 엣지 AI#

실시간 작물 건강 모니터링을 위해 설계된 모바일 애플리케이션을 생각해 보십시오. 이 모델은 대규모 식물 이미지 데이터셋을 사용하여 강력한 클라우드 서버에서 학습되었을 수 있습니다. 그러나 앱은 농부의 스마트폰에서 오프라인으로 실행되어야 합니다. 학습된 모델을 ONNX로 내보내면, 개발자는 ONNX Runtime Mobile을 사용하여 이를 모바일 앱에 통합할 수 있습니다. 이를 통해 휴대폰 프로세서가 로컬에서 객체 감지를 실행하여 인터넷 연결 없이도 해충이나 질병을 즉시 식별할 수 있습니다.

크로스 플랫폼 웹 추론#

전자상거래에서 "가상 피팅(virtual try-on)" 기능은 포즈 추정을 사용하여 사용자의 웹캠 피드 위에 의류를 덧씌울 수 있습니다. 이 모델의 학습은 Python에서 이루어질 수 있지만, 배포 타겟은 웹 브라우저입니다. ONNX를 사용하면 모델을 변환하여 ONNX Runtime Web을 통해 사용자의 브라우저에서 직접 실행할 수 있습니다. 이는 클라이언트의 디바이스 기능(WebGL 또는 WebAssembly)을 활용하여 컴퓨터 비전 작업을 수행하며, 비디오 데이터가 사용자의 컴퓨터를 절대 떠나지 않으므로 부드럽고 프라이버시가 보호되는 경험을 보장합니다.

관련 용어와의 비교#

ONNX를 다른 모델 형식 및 도구와 구분하면 이해에 도움이 됩니다:

• TensorRT 대비: ONNX가 교환 포맷인 반면, TensorRT는 NVIDIA GPU 전용 추론 엔진이자 최적화 도구입니다. 일반적인 워크플로우는 먼저 모델을 ONNX로 내보낸 다음, 해당 ONNX 파일을 TensorRT로 파싱하여 NVIDIA 하드웨어에서 최대 처리량을 달성하는 것입니다.
• TensorFlow SavedModel 대비: SavedModel은 TensorFlow의 네이티브 직렬화 포맷입니다. Google 생태계 내에서는 견고하지만, ONNX만큼 보편적으로 호환되지는 않습니다. 더 넓은 플랫폼 지원을 얻기 위해 SavedModel을 ONNX로 변환하는 도구가 종종 존재합니다.
• CoreML 대비: CoreML은 온디바이스 머신러닝을 위한 Apple의 프레임워크입니다. 별개의 포맷이지만, iPhone과 iPad에서 효율적으로 실행하기 위해 PyTorch에서 ONNX로, 그리고 ONNX에서 CoreML로(또는 직접) 모델이 자주 변환됩니다.

Ultralytics를 사용하여 ONNX로 내보내기#

Ultralytics 생태계는 YOLO26과 같은 최첨단 모델을 ONNX 포맷으로 변환하는 과정을 단순화합니다. 내보내기 기능이 라이브러리에 직접 내장되어 있어, 복잡한 그래프 순회와 연산자 매핑을 자동으로 처리합니다.

다음 예제는 사전 학습된 Ultralytics YOLO26 모델을 배포를 위해 ONNX 형식으로 내보내는 방법을 보여줍니다.

from ultralytics import YOLO

# Load the YOLO26n model (Nano version recommended for edge deployment)
model = YOLO("yolo26n.pt")

# Export the model to ONNX format
# The 'dynamic' argument enables variable input sizes
path = model.export(format="onnx", dynamic=True)

print(f"Model exported successfully to: {path}")

일단 내보내진 이 .onnx 파일은 관리를 위해 Ultralytics Platform에서 활용하거나 ONNX Runtime을 사용하여 엣지 디바이스에 직접 배포할 수 있으므로, 거의 모든 환경에서 고성능 컴퓨터 비전을 쉽게 사용할 수 있습니다.