Intel Core Ultra Series 3(Panther Lake)에서 OpenVINO를 사용하여 Ultralytics YOLO26 가속화하기

지난 몇 년 동안 AI와 컴퓨터 비전은 실험적인 단계를 넘어 일상적인 비즈니스 운영의 핵심 요소가 되었습니다. 실제로 설문조사에 따르면 전체 조직의 약 88%가 이미 비즈니스의 최소 한 부분 이상에서 AI를 사용하고 있습니다.

However, turning that adoption into real value, whether in production systems or personal projects, often comes down to how well models actually run once deployed. In many real-world scenarios, computer vision models like Ultralytics YOLO26 are deployed on edge devices and a range of hardware, often CPUs, integrated GPUs, or NPUs, rather than high-end GPUs.

여기서 성능 차이가 발생하기 시작하며 최적화가 중요해집니다. 한 환경에서 잘 작동하던 모델도 기본 하드웨어에 맞게 적절히 최적화되지 않으면 다른 환경에서는 성능이 저하될 수 있습니다.

이를 간소화하기 위해 Ultralytics Python 패키지는 YOLO26 모델을 OpenVINO와 같은 최적화된 형식으로 내보내는 기능을 지원하므로, 워크플로우를 변경하지 않고도 Intel 하드웨어 전반에서 원활하게 실행할 수 있습니다.

예를 들어, YOLO26 모델을 OpenVINO 형식으로 내보내면 Intel Core Ultra Series 3 프로세서에서 더 효율적으로 실행할 수 있으며, GPU 추론 속도가 최대 3배까지 향상됩니다.

이 기사에서는 업데이트된 Ultralytics와 OpenVINO 통합을 통해 Intel Core Ultra Series 3 하드웨어 전반에 YOLO26 모델을 더 쉽게 배포하는 방법을 살펴봅니다. 시작해 보겠습니다!

Link to this sectionUltralytics x OpenVINO 통합 개요#

Ultralytics Python 패키지는 Ultralytics YOLO 모델(예: YOLO26)을 학습, 추론 실행 및 배포하기 위한 단일 인터페이스를 제공합니다. 또한 학습 및 실험부터 배포 및 최적화에 이르기까지 비전 AI 워크플로우의 다양한 단계를 돕는 여러 통합을 지원합니다.

배포 중심 통합 중 하나인 OpenVINO 툴킷은 YOLO26 모델을 Intel 하드웨어용 최적화 형식으로 내보낼 수 있게 해줍니다. 이 프로세스는 YOLO 모델을 변환하여 Intel® Core™ Ultra™ 시리즈 프로세서 기반 시스템을 포함한 Intel CPU, GPU 및 NPU에서 더 효율적으로 실행되도록 합니다.

이를 통해 각 설정에 맞춰 수동으로 조정할 필요 없이 다양한 Intel 디바이스에서 모델을 더 간소하게 실행할 수 있습니다. 로컬 머신, 엣지 디바이스 또는 대규모 배포 등 어떤 환경에서든 동일한 내보내기 모델을 재사용할 수 있습니다.

이 통합이 특히 실용적인 이유는 기존 Ultralytics 워크플로우에 원활하게 통합된다는 점입니다. 학습 및 추론에 사용하는 것과 동일한 인터페이스를 사용하여 모델을 내보낼 수 있으므로 추가 도구나 복잡한 설정이 필요하지 않습니다.

내보내기가 완료되면 필요한 제어 및 유연성 수준에 따라 Ultralytics Python 패키지 또는 OpenVINO Runtime을 통해 추론에 모델을 사용할 수 있습니다.

Link to this sectionAI 추론을 위한 OpenVINO 및 Intel Panther Lake 하드웨어 살펴보기#

내보낸 YOLO26 모델이 Intel 하드웨어에서 얼마나 효율적으로 실행되는지 확인하기 전에, 잠시 물러나 OpenVINO와 Intel 하드웨어가 함께 작동하여 효율적인 추론을 구현하는 방식을 이해해 보겠습니다.

OpenVINO는 CPU, 통합 GPU 및 NPU를 포함한 Intel 하드웨어 전반에서 AI 추론을 최적화하고 실행하도록 설계된 오픈 소스 툴킷입니다. 통합 런타임을 제공하므로 동일한 모델을 다시 작성할 필요 없이 이러한 다양한 컴퓨팅 유닛에서 실행할 수 있습니다.

Fig 1. OpenVINO를 사용하면 여러 하드웨어 타겟에 쉽게 모델을 배포할 수 있습니다. (출처)

새로운 Intel® Core™ Ultra™ Series 3 프로세서(코드명 Panther Lake)에서는 AI 워크로드가 동일한 프로세서 내의 여러 컴퓨팅 유닛에서 실행됩니다. 각 칩은 범용 작업을 위한 CPU 코어, 병렬 처리를 위한 통합 GPU, AI 추론을 위해 특별히 설계된 전용 NPU를 결합합니다.

OpenVINO는 코드를 변경하지 않고도 CPU, GPU 또는 NPU와 같은 컴퓨팅 유닛을 타겟팅할 수 있는 통합 API를 제공합니다. 런타임에 추론을 실행할 디바이스를 간단히 지정할 수 있으므로 성능 및 효율성 요구 사항에 따라 세 가지 디바이스 간에 쉽게 전환할 수 있습니다.

Link to this sectionIntel® Core™ Ultra™ 시리즈에서 YOLO26 벤치마킹#

Ultralytics와 OpenVINO 통합을 탐색하다 보면 YOLO26을 OpenVINO 형식으로 내보낼 때 어떤 모델 성능 향상을 기대할 수 있는지 궁금할 것입니다.

YOLO26 모델을 다양한 형식과 정밀도 수준에서 벤치마킹하면 추론 속도의 차이가 분명해집니다. 예를 들어 Panther Lake 프로세서인 Intel Core Ultra X7 358H에서 YOLO26의 나노 변형 모델(YOLO26n)을 실행할 때, 추론 시간은 PyTorch(FP32 정밀도)에서 이미지당 25.18ms였으나, 통합 NPU를 사용하는 OpenVINO(동일 정밀도)에서는 2.64ms로 단축되었습니다.

이는 초기 PyTorch FP32 기준보다 빠른 것으로, 지연 시간이 중요한 실시간 및 엣지 애플리케이션에서 눈에 띄는 차이를 만들 수 있습니다. 이러한 향상은 통합 Intel Arc GPU에서 동일한 모델을 실행할 때 더욱 분명하게 나타납니다.

Fig 2. OpenVINO를 사용한 Intel Panther Lake GPU에서의 YOLO26 추론 벤치마킹 (출처)

Fig 3. OpenVINO를 사용한 Intel Panther Lake NPU에서의 YOLO26 추론 벤치마킹 (출처)

Link to this sectionUltralytics YOLO26을 OpenVINO 형식으로 내보내는 두 가지 방법 탐색#

YOLO26 모델을 OpenVINO 형식으로 내보내는 주된 방법은 두 가지가 있습니다. Ultralytics Python 패키지를 사용하거나, 컴퓨터 비전 워크플로우를 한곳에서 구축하고 관리하기 위한 엔드투엔드 워크스페이스인 Ultralytics Platform을 통해 직접 내보낼 수 있습니다. 다음으로 두 가지 접근 방식을 모두 살펴보겠습니다.

Link to this sectionUltralytics Python 패키지를 사용하여 YOLO26 내보내기#

Ultralytics Python 패키지는 코드 기반 워크플로우 내에서 YOLO26 모델을 OpenVINO 형식으로 내보내는 간편한 방법을 제공합니다. 학습과 추론에 동일한 인터페이스가 사용되므로, 모델 내보내기는 추가 도구 없이도 기존 파이프라인에 자연스럽게 통합됩니다.

시작하려면 Ultralytics 패키지를 설치하면 됩니다. 터미널이나 명령 프롬프트에서 “pip install ultralytics” 명령을 실행하면 됩니다. Jupyter Notebook이나 Google Colab과 같은 대화형 환경에서 작업 중이라면 느낌표를 앞에 붙여 동일한 명령을 실행할 수 있습니다.

설치 후에는 학습된 YOLO26 모델을 로드하여 OpenVINO 형식으로 바로 내보낼 수 있습니다. 아래와 같이 사전 학습된 YOLO26n 모델(yolo26n.pt)을 로드한 후 export 메서드를 사용하여 OpenVINO 형식으로 변환합니다.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="openvino")

코드를 실행하면 변환된 모델이 새 디렉토리에 저장되어 배포에 사용할 수 있게 됩니다.

Link to this sectionUltralytics Platform에서 YOLO26 내보내기#

If you’re looking for a simpler, no-code approach, you can export YOLO26 models directly through Ultralytics Platform. The platform brings together the full computer vision workflow into a single workspace, making it easy to move from training to deployment without additional setup.

모델이 준비되면 플랫폼 내에서 해당 모델을 열고 Export 탭으로 이동합니다. 거기에서 내보내기 형식으로 OpenVINO를 선택하고 이미지 크기나 정밀도와 같은 설정을 선택적으로 조정할 수 있습니다.

Fig 4. Ultralytics Platform 내에서 YOLO26 내보내기 모습

플랫폼이 변환을 자동으로 처리하므로 스크립트, 종속성 또는 환경 구성을 관리할 필요가 없습니다. 내보내기가 완료되면 최적화된 모델을 다운로드하여 Intel CPU, GPU 및 NPU 전반에 배포할 수 있습니다.

Link to this sectionUltralytics x OpenVINO 통합으로 활성화된 배포 옵션#

YOLO26 모델이 OpenVINO 형식으로 내보내지면 워크플로우와 필요한 제어 수준에 따라 추론을 실행하는 두 가지 방법이 있습니다. 더 간단하고 통합된 접근 방식을 위해 Ultralytics Python 패키지를 사용하거나, 더 많은 유연성과 제어를 위해 네이티브 OpenVINO 런타임을 사용할 수 있습니다.

Link to this sectionUltralytics Python 패키지로 추론 실행#

모델을 OpenVINO 형식으로 내보내면 Ultralytics Python 패키지를 사용하여 추론을 실행할 수 있습니다. 이 방식은 학습 및 내보내기와 동일한 인터페이스를 사용하므로 빠른 테스트와 간소화된 배포에 이상적입니다.

이 접근 방식을 사용하면 내보낸 OpenVINO 모델을 디렉토리에서 로드하고 이미지나 비디오와 같은 입력 데이터로 추론을 실행할 수 있습니다. 시스템에서 사용 가능한 하드웨어에 따라 "intel:cpu", "intel:gpu" 또는 "intel:npu"와 같은 옵션을 지정하여 추론을 실행할 디바이스를 선택할 수도 있습니다.

아래 코드 스니펫은 내보낸 모델을 로드하고 GPU를 타겟팅하면서 이미지에 대해 추론을 실행하는 방법을 보여줍니다. 추론이 완료되면 출력 이미지가 “runs/detect/predict” 디렉토리에 저장됩니다.

ov_model = YOLO("yolo26n_openvino_model/")

results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Link to this section추론을 위한 네이티브 OpenVINO 패키지 활용#

프로덕션 환경에서 모델 실행 방식을 더 세밀하게 제어해야 한다면 네이티브 OpenVINO 런타임을 사용하여 추론을 수행할 수 있습니다. 이 방법은 모델을 더 큰 애플리케이션에 통합하거나 특정 하드웨어에서 추론이 실행되는 방식을 미세 조정하려 할 때 유용합니다.

OpenVINO는 Intel CPU, GPU 및 NPU 전반에서 모델을 실행하는 통합된 방식을 제공하며 비동기 실행 및 가용 컴퓨팅 리소스의 효율적인 사용과 같은 기능을 포함합니다. 이를 설정하려면 모델 구조를 정의하는 .xml 파일과 학습된 가중치가 포함된 .bin 파일을 포함한 내보낸 모델 파일을 직접 사용하면 됩니다.

사용 사례에 따라 입력 크기나 전처리 단계와 같은 설정을 조정할 수도 있습니다. 추론 설정에는 OpenVINO 런타임 초기화, 타겟 디바이스를 위한 모델 로드 및 컴파일, 입력 데이터 준비, 그리고 추론 실행이 포함됩니다.

Fig 5. OpenVINO를 사용한 일반적인 추론 파이프라인 예시 (출처)

이를 통해 모델 실행 방식과 전반적인 배포 구조에 어떻게 맞출지 제어할 수 있습니다. OpenVINO 런타임을 사용한 추론 설정 및 실행에 대해 자세히 알아보려면 공식 Ultralytics 문서를 살펴보십시오.

Link to this sectionIntel 하드웨어에서의 YOLO26 실제 적용 사례#

Ultralytics와 OpenVINO 통합의 진정한 가치는 신뢰할 수 있는 저지연 추론이 실질적인 차이를 만드는 프로덕션 환경에서 나타납니다. 이 통합이 의미 있는 결과를 이끄는 주요 산업은 다음과 같습니다.

• 제조: YOLO26을 OpenVINO로 내보냄으로써 생산 라인 시스템이 Intel 하드웨어에서 누락된 구성 요소, 오정렬 또는 표면 손상과 같은 시각적 결함을 자동으로 감지하여 제품 품질을 개선하고 비용이 많이 드는 오류를 줄일 수 있습니다.

• 헬스케어: 의료 영상 및 환자 모니터링 시스템은 내보낸 YOLO26 모델을 Intel 하드웨어에서 로컬로 실행하여 신뢰할 수 있는 추론 성능을 유지하면서도 엄격한 데이터 개인 정보 보호 요구 사항을 충족할 수 있습니다.

• 스마트 시티: 교통 모니터링 및 군중 분석은 Intel 기반 엣지 카메라에서 내보낸 YOLO26 모델을 사용하여 배포할 수 있으며, 이를 통해 차량 계수, 보행자 추적 및 사고 감지와 같은 실시간 통찰력을 얻을 수 있습니다.

• 자동차: 운전자 모니터링 및 실내 감지에서는 저지연성과 전력 효율성이 매우 중요하므로, 내보낸 YOLO26 모델과 결합된 Intel 하드웨어는 임베디드 자동차 시스템에 매우 적합합니다.

이 통합에 대해 더 자세히 알고 싶다면 Intel OpenVINO DevCon 워크숍 시리즈, “주석에서 배포까지: Geti, YOLO26 및 OpenVINO™를 사용한 객체 감지 파이프라인 구축”에 참여하십시오. 당사의 파트너십 및 에코시스템 매니저인 Francesco Mattioli가 Intel의 AI 소프트웨어 에반젤리스트인 Adrian Boguszewski와 함께 실시간 시연을 진행하며 실제 산업 시나리오를 위한 프로덕션급 컴퓨터 비전 파이프라인 구축 방법을 안내합니다. 워크숍에서는 데이터셋 생성 및 모델 학습부터 최적화와 엣지 배포에 이르는 전체 엔드투엔드 객체 감지 워크플로우를 다룰 예정입니다.

Link to this sectionOpenVINO 내보내기 형식을 사용할 때의 이점#

OpenVINO 내보내기 형식을 사용할 때의 주요 장점은 다음과 같습니다.

• 접근성 및 쉬운 통합: 80개 이상의 튜토리얼 노트북과 통합 API를 제공하는 OpenVINO를 사용하면 복잡성을 추가하지 않고도 실험에서 배포 단계로 더 쉽게 이동할 수 있습니다.

• 다양한 하드웨어에서 동일한 모델 실행: OpenVINO를 사용하면 지원되는 Intel 하드웨어 전반에서 단일 내보낸 모델을 사용하여 CPU, GPU 또는 NPU에 배포할 수 있으며, 각 디바이스에 맞게 다시 작성하거나 수정할 필요가 없습니다.

• 내보내기 중 내장된 최적화: PyTorch 및 TensorFlow와 같은 대중적인 프레임워크에서 모델을 내보내면 추론 준비가 완료된 최적화 형식으로 변환되므로 별도의 변환 단계가 필요하지 않습니다.

• 하드웨어 리소스의 더 나은 활용: OpenVINO는 Intel 하드웨어 전반에서 비동기 추론 및 로드 밸런싱을 지원하여 실제 애플리케이션의 효율성을 높이는 데 도움을 줍니다.

Link to this sectionExecuTorch 및 OpenVINO 백엔드로 YOLO26 실행#

더 까다로운 프로덕션 환경에 YOLO26을 배포하는 경우, 온디바이스 효율성과 고급 모델 압축을 결합한 또 다른 옵션을 사용할 수 있습니다.

PyTorch의 온디바이스 추론 프레임워크인 ExecuTorch는 다른 내보내기 및 런타임 경로를 통해 Intel 하드웨어에 YOLO26을 배포할 수 있는 OpenVINO 백엔드를 지원합니다.

작동 방식은 ExecuTorch가 모델 내보내기와 런타임 실행을 처리하고, OpenVINO가 그 밑에서 하드웨어 가속 계층 역할을 하여 Intel CPU, GPU 또는 NPU 전반의 실제 연산을 처리하는 것입니다. 이 둘은 함께 작동하여 ExecuTorch의 이식성과 온디바이스 효율성, 그리고 OpenVINO가 제공하는 하드웨어별 최적화의 이점을 동시에 누릴 수 있게 합니다.

이 작동 원리와 ExecuTorch 및 OpenVINO 백엔드에서 YOLO26을 시작하는 방법에 대해 자세히 알아보려면 최신 ExecuTorch 및 OpenVINO 업데이트를 다루는 Intel 블로그를 확인하십시오.

Link to this section핵심 요약#

Ultralytics와 OpenVINO 통합을 통해 YOLO26 모델을 내보내면 워크플로우의 복잡성을 가중하지 않으면서도 Intel 하드웨어 전반의 성능이 향상됩니다. 파이프라인을 재작업할 필요 없이 학습에서 배포로 이동할 수 있습니다. 전반적으로 이는 실제 애플리케이션에서 Intel CPU, GPU 및 NPU 전반에 걸쳐 모델을 효율적으로 실행할 수 있는 간편한 방법을 제공합니다.

커뮤니티에 가입하고 GitHub 저장소를 탐색하여 비전 AI에 대해 더 알아보십시오. 컴퓨터 비전 프로젝트를 시작하려면 라이선스 옵션을 확인하십시오. 제조 분야의 AI나 자동차 산업의 컴퓨터 비전과 같은 혁신에 관심이 있으신가요? 솔루션 페이지를 방문하여 더 자세한 내용을 확인해 보십시오.