Intel Core Ultra Series 3 (Panther Lake)에서 OpenVINO를 활용한 Ultralytics YOLO26 가속

지난 몇 년 동안 AI와 컴퓨터 비전은 실험적인 기술에서 일상적인 비즈니스 운영의 핵심 요소로 발전했습니다. 실제로 조사에 따르면 약 88%의 조직이 이미 비즈니스의 하나 이상의 영역에서 AI를 사용하고 있습니다.

그러나 이러한 도입을 실제 가치로 전환하는 일은 프로덕션 시스템이든 개인 프로젝트든, 배포 후 모델이 실제로 얼마나 잘 실행되는지에 좌우되는 경우가 많습니다. 많은 실제 시나리오에서 컴퓨터 비전 모델은 Ultralytics YOLO26과 같이 고성능 GPU가 아닌 엣지 디바이스와 다양한 하드웨어, 주로 CPU, 통합 GPU 또는 NPU에 배포됩니다.

이때 성능 편차가 발생할 수 있으며, 최적화가 중요해집니다. 기반 하드웨어에 맞게 적절히 최적화되지 않은 모델은 한 환경에서 잘 작동하더라도 다른 환경에서는 성능이 저하될 수 있습니다.

이를 간소화하기 위해 Ultralytics Python 패키지는 YOLO26 모델을 OpenVINO와 같은 최적화된 형식으로 내보내는 기능을 지원하므로, 워크플로를 변경하지 않고도 Intel 하드웨어 전반에서 원활하게 실행할 수 있습니다.

예를 들어 Ultralytics YOLO26 모델을 OpenVINO 형식으로 내보내면 Intel Core Ultra Series 3 프로세서에서 더 효율적으로 실행할 수 있으며, GPU 추론 속도가 최대 3배 향상됩니다.

이 글에서는 업데이트된 Ultralytics와 OpenVINO 통합을 통해 Intel Core Ultra Series 3 하드웨어 전반에 YOLO26 모델을 더 쉽게 배포하는 방법을 살펴봅니다. 지금 시작해 보겠습니다!

Ultralytics x OpenVINO 통합 개요#

Ultralytics Python 패키지는 YOLO26과 같은 Ultralytics YOLO 모델의 학습, 추론 실행 및 배포를 위한 단일 인터페이스를 제공합니다. 학습과 실험부터 배포와 최적화까지 비전 AI 워크플로의 다양한 부분을 지원하는 여러 통합 기능을 제공합니다.

배포에 중점을 둔 통합 기능 중 하나는 OpenVINO toolkit과의 통합으로, 이를 통해 Ultralytics YOLO26 모델을 Intel 하드웨어에 최적화된 형식으로 내보낼 수 있습니다. 이 과정에서는 YOLO 모델을 Intel CPU, GPU 및 NPU에서 더 효율적으로 실행되는 형식으로 변환하며, Intel® Core™ Ultra™ 시리즈 프로세서 기반 시스템도 포함됩니다.

이를 통해 각 설정에 맞게 모델을 수동으로 조정하지 않고도 다양한 Intel 디바이스에서 모델을 더욱 간편하게 실행할 수 있습니다. 로컬 머신, 엣지 디바이스 또는 대규모 배포 환경에서 작업하더라도 동일한 내보낸 모델을 재사용할 수 있습니다.

이 통합이 특히 실용적인 이유는 기존 Ultralytics 워크플로에 매우 자연스럽게 맞기 때문입니다. 추가 도구나 복잡한 설정 없이 학습과 추론에 사용하는 것과 동일한 인터페이스로 모델을 내보낼 수 있습니다.

내보낸 모델은 필요한 제어 수준과 유연성에 따라 Ultralytics Python 패키지 또는 OpenVINO Runtime을 통해 추론에 사용할 수 있습니다.

AI 추론을 위한 OpenVINO와 Intel Panther Lake 하드웨어 자세히 살펴보기#

내보낸 Ultralytics YOLO26 모델이 Intel 하드웨어에서 얼마나 효율적으로 실행되는지 살펴보기 전에, 잠시 한 걸음 물러나 OpenVINO와 Intel 하드웨어가 어떻게 함께 작동하여 효율적인 추론을 지원하는지 이해해 보겠습니다.

OpenVINO는 CPU, 통합 GPU 및 NPU를 포함한 Intel 하드웨어 전반에서 AI 추론을 최적화하고 실행하도록 설계된 오픈 소스 toolkit입니다. 통합 런타임을 제공하므로 모델을 다시 작성하지 않고도 이러한 다양한 컴퓨팅 유닛에서 동일한 모델을 실행할 수 있습니다.

그림 1. OpenVINO를 사용하면 여러 하드웨어 대상에 모델을 쉽게 배포할 수 있습니다. (출처)

새로운 Intel® Core™ Ultra™ Series 3 프로세서(코드명 Panther Lake)에서는 동일한 프로세서 내 여러 컴퓨팅 유닛에서 AI 워크로드가 실행됩니다. 각 칩은 범용 작업을 위한 CPU 코어, 병렬 처리를 위한 통합 GPU, AI 추론을 위해 특별히 설계된 전용 NPU를 결합합니다.

OpenVINO는 코드를 변경하지 않고 CPU, GPU 또는 NPU 중 어느 컴퓨팅 유닛이든 대상으로 지정할 수 있는 통합 API를 제공합니다. 런타임에 추론을 실행할 디바이스를 지정하기만 하면 되므로, 성능과 효율성 요구에 따라 세 유닛 사이를 간편하게 전환할 수 있습니다.

Intel® Core™ Ultra™ 시리즈에서 Ultralytics YOLO26 벤치마킹#

Ultralytics와 OpenVINO 통합을 살펴보면서 YOLO26을 OpenVINO 형식으로 내보낼 때 어느 정도의 모델 성능 향상을 기대할 수 있는지 궁금할 수 있습니다.

YOLO26 모델을 다양한 형식과 정밀도 수준에서 벤치마킹하면 추론 속도의 차이가 분명하게 드러납니다. 예를 들어 Panther Lake 프로세서인 Intel Core Ultra X7 358H에서 YOLO26의 nano 변형(YOLO26n)을 실행할 때, FP32 정밀도의 PyTorch에서 이미지당 25.18ms였던 추론 시간이 통합 NPU에서 동일한 정밀도의 OpenVINO를 사용하면 2.64ms로 감소합니다.

이는 기존 PyTorch FP32 기준선보다 빠른 속도로, 지연 시간이 중요한 실시간 및 엣지 애플리케이션에서 눈에 띄는 차이를 만들 수 있습니다. 동일한 모델을 통합 Intel Arc GPU에서 실행하면 이러한 향상이 더욱 분명해집니다.

그림 2. OpenVINO를 사용한 Intel Panther Lake GPU에서의 Ultralytics YOLO26 추론 벤치마킹 (출처)

그림 3. OpenVINO를 사용한 Intel Panther Lake NPU에서의 Ultralytics YOLO26 추론 벤치마킹 (출처)

Ultralytics YOLO26을 OpenVINO 형식으로 내보내는 두 가지 방법 살펴보기#

YOLO26 모델을 OpenVINO 형식으로 내보내는 주요 방법은 두 가지입니다. Ultralytics Python 패키지를 사용하거나, 컴퓨터 비전 워크플로를 한곳에서 구축하고 관리할 수 있는 엔드투엔드 workspace인 Ultralytics Platform을 통해 직접 내보낼 수 있습니다. 다음으로 두 가지 방법을 모두 살펴보겠습니다.

Ultralytics Python 패키지를 사용하여 YOLO26 내보내기#

Ultralytics Python 패키지는 코드 기반 워크플로 내에서 YOLO26 모델을 OpenVINO 형식으로 간단하게 내보낼 수 있는 방법을 제공합니다. 학습과 추론에 동일한 인터페이스를 사용하므로 추가 도구 없이 기존 pipeline에 자연스럽게 모델 내보내기를 통합할 수 있습니다.

시작하려면 Ultralytics 패키지를 설치하면 됩니다. 터미널이나 명령 프롬프트에서 “pip install ultralytics” 명령을 실행하면 됩니다. Jupyter Notebook이나 Google Colab과 같은 대화형 환경에서 작업하는 경우 느낌표를 앞에 붙여 동일한 명령을 실행할 수 있습니다.

설치가 완료되면 학습된 YOLO26 모델을 불러와 OpenVINO 형식으로 직접 내보낼 수 있습니다. 아래 예시와 같이 사전 학습된 YOLO26n 모델(yolo26n.pt)을 불러온 다음 export 메서드를 사용하여 OpenVINO 형식으로 변환합니다.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="openvino")

코드를 실행하면 변환된 모델이 새 디렉터리에 저장되며, 여기에서 배포에 사용할 수 있습니다.

Ultralytics Platform에서 YOLO26 내보내기#

더 간단한 노코드 방식을 찾고 있다면 YOLO26 모델을 Ultralytics Platform을 통해 직접 내보낼 수 있습니다. 이 플랫폼은 전체 컴퓨터 비전 워크플로를 하나의 workspace로 통합하여 추가 설정 없이 학습에서 배포로 쉽게 전환할 수 있도록 합니다.

모델이 준비되면 플랫폼에서 모델을 열고 Export 탭으로 이동할 수 있습니다. 여기에서 OpenVINO를 내보내기 형식으로 선택하고 이미지 크기나 정밀도와 같은 설정을 선택적으로 조정할 수 있습니다.

그림 4. Ultralytics Platform에서 YOLO26을 내보내는 화면

플랫폼이 변환을 자동으로 처리하므로 스크립트, 종속성 또는 환경 구성을 관리할 필요가 없습니다. 내보내기가 완료되면 최적화된 모델을 다운로드하여 Intel CPU, GPU 및 NPU 전반에 배포할 수 있습니다.

Ultralytics x OpenVINO 통합으로 지원되는 배포 옵션#

YOLO26 모델을 OpenVINO 형식으로 내보낸 후에는 워크플로와 필요한 제어 수준에 따라 몇 가지 방법으로 추론을 실행할 수 있습니다. 더 간단하고 통합된 방식을 위해 Ultralytics Python 패키지를 사용하거나, 더 높은 유연성과 제어를 위해 기본 OpenVINO runtime을 사용할 수 있습니다.

Ultralytics Python 패키지로 추론 실행#

모델을 OpenVINO 형식으로 내보낸 후에는 Ultralytics Python 패키지를 사용하여 추론을 실행할 수 있습니다. 학습 및 내보내기와 동일한 인터페이스를 사용하므로 빠른 테스트와 간소화된 배포에 적합한 방식입니다.

이 방식을 사용하면 디렉터리에서 내보낸 OpenVINO 모델을 불러와 이미지나 동영상과 같은 입력에 대해 추론을 실행할 수 있습니다. 시스템에서 사용 가능한 하드웨어에 따라 "intel:cpu", "intel:gpu" 또는 "intel:npu"와 같은 옵션을 지정하여 실행할 디바이스를 선택할 수도 있습니다.

아래 코드 스니펫은 내보낸 모델을 불러와 GPU를 대상으로 이미지에 대한 추론을 실행하는 방법을 보여줍니다. 추론이 완료되면 출력 이미지가 “runs/detect/predict” 디렉터리에 저장됩니다.

ov_model = YOLO("yolo26n_openvino_model/")

results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

기본 OpenVINO 패키지를 활용한 추론#

프로덕션 환경에서 모델 실행 방식을 더 세밀하게 제어해야 한다면 기본 OpenVINO runtime을 사용하여 추론을 실행할 수 있습니다. 이 방법은 모델을 대규모 애플리케이션에 통합하거나 특정 하드웨어에서 추론이 실행되는 방식을 세밀하게 조정하려는 경우에 유용합니다.

OpenVINO는 비동기 실행 및 가용 컴퓨팅 리소스의 효율적인 사용과 같은 기능을 제공하면서 Intel CPU, GPU 및 NPU 전반에서 모델을 실행하는 통합 방식을 제공합니다. 이를 설정하려면 내보낸 모델 파일을 직접 사용할 수 있으며, 여기에는 모델 구조를 정의하는 .xml 파일과 학습된 가중치를 포함하는 .bin 파일이 포함됩니다.

사용 사례에 따라 입력 크기나 전처리 단계와 같은 설정도 조정할 수 있습니다. 추론 설정에는 OpenVINO runtime 초기화, 대상 디바이스에 맞춘 모델 로드 및 컴파일, 입력 데이터 준비, 추론 실행이 포함됩니다.

그림 5. OpenVINO를 사용하는 일반적인 추론 pipeline 예시 (출처)

이를 통해 모델 실행 방식과 전체 배포 환경에 모델을 통합하는 방식을 제어할 수 있습니다. OpenVINO runtime 설정 및 추론 실행 방법에 대한 자세한 내용은 공식 Ultralytics documentation을 참조하십시오.

Intel 하드웨어에서 Ultralytics YOLO26의 실제 활용 사례#

Ultralytics와 OpenVINO 통합의 실제 가치는 안정적이고 지연 시간이 짧은 추론이 실질적인 차이를 만들 수 있는 프로덕션 환경에서 나타납니다. 이 통합이 의미 있는 결과를 이끌어 내는 주요 산업 분야를 살펴보겠습니다.

• 제조: Ultralytics YOLO26을 OpenVINO로 내보내면 생산 라인 시스템이 Intel 하드웨어에서 부품 누락, 정렬 불량 또는 표면 손상과 같은 시각적 결함을 자동으로 감지할 수 있어 제품 품질을 개선하고 비용이 큰 오류를 줄이는 데 도움이 됩니다.

• 헬스케어: 의료 영상 및 환자 모니터링 시스템은 내보낸 Ultralytics YOLO26 모델을 Intel 하드웨어에서 로컬로 실행할 수 있어, 안정적인 추론 성능을 유지하면서 엄격한 데이터 개인정보 보호 요구 사항을 지원합니다.

• 스마트 시티: 내보낸 Ultralytics YOLO26 모델을 Intel 기반 엣지 카메라에 사용하여 교통 모니터링과 군중 분석을 배포할 수 있으며, 차량 수 집계, 보행자 추적 및 사고 감지와 같은 실시간 인사이트를 제공합니다.

• 자동차: 운전자 모니터링 및 차량 내부 센싱에서는 짧은 지연 시간과 전력 효율성이 중요하므로, 내보낸 Ultralytics YOLO26 모델과 결합한 Intel 하드웨어는 임베디드 자동차 시스템에 적합합니다.

이 통합에 대해 더 자세히 알고 싶다면 Intel OpenVINO DevCon workshop series인 “주석에서 배포까지: Geti, Ultralytics YOLO26 및 OpenVINO™를 사용한 객체 감지 pipeline 구축”에 참여해 보십시오. 이 행사에서 당사의 Partnership and Ecosystem Manager인 Francesco Mattioli가 Intel의 AI Software Evangelist인 Adrian Boguszewski와 함께 실제 산업 시나리오를 위한 프로덕션 준비 컴퓨터 비전 pipeline 구축 방법을 라이브로 시연하고 안내합니다. 이 workshop에서는 데이터셋 생성과 모델 학습부터 최적화 및 엣지 배포까지 전체 엔드투엔드 객체 감지 워크플로를 다룹니다.

OpenVINO 내보내기 형식 사용의 이점#

OpenVINO 내보내기 형식을 사용할 때의 주요 이점은 다음과 같습니다.

• 접근성이 높고 통합이 간편함: 통합 API와 80개 이상의 tutorial notebook을 제공하는 OpenVINO를 사용하면 복잡성을 크게 높이지 않고 실험에서 배포로 쉽게 전환할 수 있습니다.

• 다양한 하드웨어에서 동일한 모델 실행: OpenVINO를 사용하면 지원되는 Intel 하드웨어 전반에서 하나의 내보낸 모델을 사용할 수 있으며, 각 디바이스에 맞게 다시 작성하거나 조정하지 않고 CPU, GPU 또는 NPU에 배포할 수 있습니다.

• 내보내기 중 기본 제공되는 최적화: OpenVINO로 내보내면 PyTorch 및 TensorFlow와 같은 인기 framework의 모델이 추론에 바로 사용할 수 있는 최적화된 형식으로 변환되므로 별도의 변환 단계가 필요하지 않습니다.

• 하드웨어 리소스 활용도 향상: OpenVINO는 Intel 하드웨어 전반에서 비동기 추론과 부하 분산을 지원하여 실제 애플리케이션의 효율성을 높이는 데 도움을 줍니다.

ExecuTorch 및 OpenVINO backend로 Ultralytics YOLO26 실행#

더 까다로운 프로덕션 환경에 Ultralytics YOLO26을 배포하는 경우, 디바이스 내 효율성과 고급 모델 압축을 결합한 또 다른 옵션을 사용할 수 있습니다.

PyTorch의 디바이스 내 추론 framework인 ExecuTorch는 OpenVINO backend를 지원하므로, 다른 내보내기 및 runtime 경로를 통해 Intel 하드웨어에 Ultralytics YOLO26을 배포할 수 있습니다.

ExecuTorch가 모델 내보내기와 runtime 실행을 처리하고, OpenVINO는 하위 하드웨어 가속 계층으로 작동하여 Intel CPU, GPU 또는 NPU에서 실제 연산을 처리합니다. 두 기술이 함께 작동하므로 OpenVINO가 제공하는 하드웨어별 최적화와 ExecuTorch의 이식성 및 디바이스 내 효율성을 모두 얻을 수 있습니다.

이 기능의 작동 방식과 ExecuTorch 및 OpenVINO backend에서 Ultralytics YOLO26을 시작하는 방법에 대한 자세한 내용은 최신 ExecuTorch 및 OpenVINO updates를 다룬 Intel blog를 참조하십시오.

핵심 요점#

Ultralytics와 OpenVINO 통합을 통해 YOLO26 모델을 내보내면 워크플로에 복잡성을 더하지 않고 Intel 하드웨어 전반의 성능을 향상할 수 있습니다. pipeline을 다시 구성하지 않고 학습에서 배포로 전환할 수 있습니다. 전반적으로 실제 애플리케이션에서 Intel CPU, GPU 및 NPU 전반에 모델을 효율적으로 실행할 수 있는 간단한 방법을 제공합니다.

커뮤니티에 참여하고 GitHub repository를 살펴보며 Vision AI에 대해 자세히 알아보십시오. 컴퓨터 비전 프로젝트를 시작하려면 라이선스 옵션을 확인해 보십시오. 제조 분야의 AI 또는 자동차 산업의 컴퓨터 비전과 같은 혁신에 관심이 있으신가요? 솔루션 페이지를 방문하여 자세히 알아보십시오.