Inference Engine

추론 엔진은 학습된 머신러닝 모델을 실행하고 새로운 데이터에서 예측을 생성하도록 설계된 특수 소프트웨어 구성 요소입니다. 역전파와 같은 계산 집약적 프로세스를 통해 패턴을 학습하는 학습 단계와 달리, 추론 엔진은 모델 배포라고 하는 운영 단계에만 최적화되어 있습니다. 추론 엔진의 주요 목표는 계산을 가능한 한 효율적으로 실행하여 추론 지연 시간을 최소화하고, 확장 가능한 클라우드 서버든 배터리로 작동하는 Edge AI 디바이스든 대상 하드웨어에서 처리량을 극대화하는 것입니다. 이러한 엔진은 학습에 필요한 오버헤드를 제거함으로써 복잡한 신경망이 실시간 애플리케이션에서 작동하도록 지원합니다.

추론 엔진이 성능을 최적화하는 방법#

학습 환경에서 추론 엔진으로 전환하는 과정에는 일반적으로 모델 구조를 간소화하기 위한 여러 최적화 단계가 포함됩니다. 모델은 더 이상 학습할 필요가 없으므로 엔진은 그래디언트 업데이트에 필요한 데이터를 삭제하여 모델 가중치를 사실상 고정할 수 있습니다. 추론 엔진에서 사용하는 일반적인 기법으로는 메모리 액세스를 줄이기 위해 여러 연산을 하나의 단계로 결합하는 레이어 융합과, 고정밀 부동 소수점 형식의 가중치를 더 낮은 정밀도의 정수(예: INT8)로 변환하는 모델 양자화가 있습니다.

이러한 최적화를 통해 Ultralytics YOLO26과 같은 고급 아키텍처를 정확도의 큰 손실 없이 매우 빠른 속도로 실행할 수 있습니다. 다양한 엔진은 최대 성능을 발휘할 수 있도록 특정 하드웨어 생태계에 맞게 설계되는 경우가 많습니다.

• NVIDIA TensorRT: 하드웨어별 커널을 활용하고 네트워크 그래프를 최적화하여 NVIDIA GPU에서 고성능 추론을 제공합니다.
• Intel OpenVINO: CPU와 통합 그래픽을 포함한 Intel 아키텍처에서 딥러닝 성능을 최적화하므로 엣지 컴퓨팅에 적합합니다.
• ONNX Runtime: ONNX 형식의 모델을 지원하는 크로스 플랫폼 가속기로, 서로 다른 프레임워크와 하드웨어 백엔드 간의 연결을 제공합니다.

실제 적용 사례#

추론 엔진은 많은 현대적 AI 편의 기능을 뒷받침하는 보이지 않는 원동력으로, 컴퓨터 비전 시스템이 주변 환경에 즉시 반응하도록 지원합니다.

1. 자율주행 차량: 자율주행 자동차에서는 객체 감지 모델이 보행자, 교통 표지판 및 다른 차량을 수 밀리초 내에 식별해야 합니다. 자동차 하드웨어에서 로컬로 실행되는 추론 엔진은 이 처리가 실시간 추론 속도로 수행되도록 보장합니다. 클라우드 연결에 의존하면 위험한 지연이 발생하기 때문입니다.

2. 스마트 제조: 공장에서는 조립 라인의 제품을 검사하기 위해 산업용 IoT 카메라를 사용합니다. 추론 엔진은 비디오 피드를 처리하여 이상 탐지를 수행하고 결함을 즉시 표시합니다. 이러한 자동화는 생산 속도를 늦추지 않으면서 폐기물을 줄이고 엄격한 품질 관리를 보장합니다.

추론 엔진과 학습 프레임워크 비교#

모델을 생성하는 데 사용하는 소프트웨어와 모델을 실행하는 데 사용하는 엔진을 구분하면 도움이 됩니다. 학습 프레임워크(PyTorch 또는 TensorFlow 등)는 아키텍처를 설계하고, 손실을 계산하며, 지도 학습을 통해 파라미터를 업데이트하기 위한 도구를 제공합니다. 학습 프레임워크는 유연성과 디버깅 기능을 우선시합니다.

반면 추론 엔진은 학습 프레임워크에서 생성된 완성된 아티팩트를 받아 실행 속도와 메모리 효율성을 우선시합니다. 학습 프레임워크 내에서 추론을 실행할 수도 있지만, 특히 TensorFlow Lite 또는 Apple Core ML과 같은 도구를 사용하여 휴대폰이나 임베디드 디바이스에 배포하는 경우 전용 엔진을 사용하는 것만큼 효율적인 경우는 드뭅니다.

Ultralytics YOLO26에서 추론 엔진 사용하기#

ultralytics 패키지는 추론 엔진의 복잡한 부분을 대부분 추상화하여 사용자가 예측을 원활하게 실행할 수 있도록 합니다. 내부적으로 이미지 전처리와 모델 실행을 처리합니다. 규모를 확장하려는 사용자를 위해 Ultralytics Platform은 다양한 추론 엔진과 호환되는 최적화된 형식으로 모델을 학습하고 내보내는 과정을 간소화합니다.

다음 예제에서는 사전 학습된 YOLO26 모델을 로드하고 이미지에서 추론을 실행하는 방법을 보여줍니다.

from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Run inference on an image from a URL
# The 'predict' method acts as the interface to the inference process
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results
results[0].show()