Intel Core Ultra Series 3(Panther Lake)에서 OpenVINO로 Ultralytics YOLO26 가속

지난 몇 년 동안 AI와 컴퓨터 비전은 실험 단계를 넘어 일상적인 비즈니스 운영의 핵심 요소가 되었습니다. 실제로 설문조사에 따르면 약 88%의 조직이 이미 비즈니스의 한 가지 이상 영역에서 AI를 사용하고 있습니다.

그러나 이러한 도입을 프로덕션 시스템이나 개인 프로젝트에서 실질적인 가치로 전환하려면, 배포 후 모델이 실제로 얼마나 잘 작동하는지가 관건인 경우가 많습니다. 실제 환경에서는 컴퓨터 비전 모델인 Ultralytics YOLO26이 고성능 GPU 대신 엣지 디바이스와 다양한 하드웨어, 주로 CPU, 통합 GPU 또는 NPU에 배포되는 경우가 많습니다.

이때 성능 편차가 발생할 수 있으며, 최적화가 중요해집니다. 한 환경에서 잘 작동하는 모델도 기반 하드웨어에 맞게 적절히 최적화되지 않으면 다른 환경에서는 제대로 작동하지 않을 수 있습니다.

이 과정을 간소화하기 위해 Ultralytics Python 패키지는 YOLO26 모델을 OpenVINO와 같은 최적화된 형식으로 내보내는 기능을 지원합니다. 이를 통해 워크플로를 변경하지 않고도 Intel 하드웨어 전반에서 원활하게 실행할 수 있습니다.

예를 들어 Ultralytics YOLO26 모델을 OpenVINO 형식으로 내보내면 Intel Core Ultra Series 3 프로세서에서 더 효율적으로 실행할 수 있으며, GPU 추론 속도는 최대 3배까지 향상될 수 있습니다.

이 글에서는 업데이트된 Ultralytics와 OpenVINO 통합을 통해 Intel Core Ultra Series 3 하드웨어 전반에 YOLO26 모델을 더 쉽게 배포하는 방법을 살펴보겠습니다. 시작해 보겠습니다!

Ultralytics와 OpenVINO 통합 개요#

Ultralytics Python 패키지는 YOLO26과 같은 Ultralytics YOLO 모델을 학습하고, 추론을 실행하며, 배포할 수 있는 단일 인터페이스를 제공합니다. 학습과 실험부터 배포와 최적화까지 비전 AI 워크플로의 여러 단계에 도움이 되는 다양한 통합 기능을 지원합니다.

배포에 초점을 둔 통합 기능 중 하나는 OpenVINO 툴킷과의 통합입니다. 이 기능을 사용하면 Ultralytics YOLO26 모델을 Intel 하드웨어에 최적화된 형식으로 내보낼 수 있습니다. 이 과정에서 YOLO 모델을 Intel CPU, GPU 및 NPU에서 더 효율적으로 실행되는 형식으로 변환하며, 여기에는 Intel® Core™ Ultra™ 시리즈 프로세서 기반 시스템도 포함됩니다.

따라서 각 설정에 맞게 모델을 수동으로 조정하지 않고도 다양한 Intel 디바이스에서 모델을 더욱 간편하게 실행할 수 있습니다. 로컬 머신, 엣지 디바이스 또는 대규모 배포 환경에서 작업하든 동일한 내보내기 모델을 재사용할 수 있습니다.

이 통합이 특히 실용적인 이유는 기존 Ultralytics 워크플로에 매끄럽게 적용되기 때문입니다. 학습과 추론에 사용하는 것과 동일한 인터페이스로 모델을 내보낼 수 있으므로 추가 도구나 복잡한 설정이 필요하지 않습니다.

내보낸 모델은 필요한 제어 수준과 유연성에 따라 Ultralytics Python 패키지 또는 OpenVINO Runtime을 통해 추론에 사용할 수 있습니다.

AI 추론을 위한 OpenVINO와 Intel Panther Lake 하드웨어 자세히 살펴보기#

내보낸 Ultralytics YOLO26 모델이 Intel 하드웨어에서 얼마나 효율적으로 실행되는지 살펴보기 전에, OpenVINO와 Intel 하드웨어가 효율적인 추론을 위해 어떻게 함께 작동하는지 먼저 알아보겠습니다.

OpenVINO는 CPU, 통합 GPU, NPU를 비롯한 Intel 하드웨어 전반에서 AI 추론을 최적화하고 실행하도록 설계된 오픈 소스 툴킷입니다. 통합 런타임을 제공하므로 모델을 다시 작성할 필요 없이 동일한 모델을 여러 연산 장치에서 실행할 수 있습니다.

그림 1. OpenVINO를 사용하면 다양한 하드웨어 대상에 모델을 쉽게 배포할 수 있습니다. (출처)

새로운 Intel® Core™ Ultra™ Series 3 프로세서(코드명 Panther Lake)에서는 하나의 프로세서 안에 있는 여러 연산 장치에서 AI 워크로드를 실행합니다. 각 칩에는 범용 작업을 위한 CPU 코어, 병렬 처리를 위한 통합 GPU, AI 추론 전용으로 설계된 NPU가 탑재되어 있습니다.

OpenVINO는 코드를 변경하지 않고 CPU, GPU 또는 NPU 중 원하는 연산 장치를 대상으로 지정할 수 있는 통합 API를 제공합니다. 런타임에 추론을 실행할 디바이스를 지정하기만 하면 되므로, 성능과 효율성 요구 사항에 따라 세 장치 사이를 간편하게 전환할 수 있습니다.

Intel® Core™ Ultra™ 시리즈에서 Ultralytics YOLO26 벤치마킹#

Ultralytics와 OpenVINO의 통합을 살펴보다 보면 YOLO26을 OpenVINO 형식으로 내보낼 때 어느 정도의 모델 성능 향상을 기대할 수 있는지 궁금하실 수 있습니다.

YOLO26 모델을 다양한 형식과 정밀도 수준에서 벤치마킹하면 추론 속도의 차이가 분명하게 드러납니다. 예를 들어 Intel Core Ultra X7 358H Panther Lake 프로세서에서 YOLO26의 나노 버전(YOLO26n)을 실행할 경우, FP32 정밀도의 PyTorch에서 이미지당 25.18ms였던 추론 시간이 동일한 정밀도의 OpenVINO와 통합 NPU를 사용하면 2.64ms로 줄어듭니다.

이는 PyTorch FP32 기준보다 빠른 속도이며, 지연 시간이 중요한 실시간 및 엣지 애플리케이션에서 눈에 띄는 차이를 만들어 낼 수 있습니다. 동일한 모델을 통합 Intel Arc GPU에서 실행하면 이러한 성능 향상이 더욱 뚜렷해집니다.

그림 2. OpenVINO를 사용한 Intel Panther Lake GPU의 Ultralytics YOLO26 추론 벤치마킹 (출처)

그림 3. OpenVINO를 사용한 Intel Panther Lake NPU의 Ultralytics YOLO26 추론 벤치마킹 (출처)

Ultralytics YOLO26을 OpenVINO 형식으로 내보내는 두 가지 방법#

YOLO26 모델을 OpenVINO 형식으로 내보내는 방법은 크게 두 가지입니다. Ultralytics Python 패키지를 사용하거나, 컴퓨터 비전 워크플로를 한곳에서 구축하고 관리할 수 있는 엔드투엔드 작업 공간인 Ultralytics Platform을 통해 직접 내보낼 수 있습니다. 다음으로 두 방법을 모두 살펴보겠습니다.

Ultralytics Python 패키지를 사용해 YOLO26 내보내기#

Ultralytics Python 패키지를 사용하면 코드 기반 워크플로에서 YOLO26 모델을 OpenVINO 형식으로 간편하게 내보낼 수 있습니다. 학습과 추론에 동일한 인터페이스를 사용하므로 추가 도구 없이 기존 파이프라인에 자연스럽게 모델 내보내기를 적용할 수 있습니다.

시작하려면 Ultralytics 패키지를 설치하면 됩니다. 터미널이나 명령 프롬프트에서 “pip install ultralytics” 명령을 실행하면 설치할 수 있습니다. Jupyter Notebook이나 Google Colab과 같은 대화형 환경에서 작업하는 경우, 명령 앞에 느낌표를 붙여 동일한 명령을 실행할 수 있습니다.

설치가 완료되면 학습된 YOLO26 모델을 불러와 OpenVINO 형식으로 바로 내보낼 수 있습니다. 아래와 같이 사전 학습된 YOLO26n 모델(yolo26n.pt)을 불러온 다음 export 메서드를 사용해 OpenVINO 형식으로 변환합니다.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="openvino")

코드를 실행하면 변환된 모델이 새 디렉터리에 저장되며, 배포에 사용할 수 있습니다.

Ultralytics Platform에서 YOLO26 내보내기#

더 간편한 노코드 방식을 원하신다면 Ultralytics Platform을 통해 YOLO26 모델을 내보낼 수 있습니다. 이 플랫폼은 전체 컴퓨터 비전 워크플로를 하나의 작업 공간에 통합해 추가 설정 없이 학습부터 배포까지 쉽게 진행할 수 있도록 합니다.

모델 준비가 완료되면 플랫폼에서 모델을 열고 Export 탭으로 이동하면 됩니다. 여기에서 내보내기 형식으로 OpenVINO를 선택하고 이미지 크기나 정밀도 등의 설정을 필요에 따라 조정할 수 있습니다.

그림 4. Ultralytics Platform에서 YOLO26을 내보내는 화면

플랫폼이 변환을 자동으로 처리하므로 스크립트, 종속성 또는 환경 설정을 관리할 필요가 없습니다. 내보내기가 완료되면 최적화된 모델을 다운로드해 Intel CPU, GPU, NPU에 배포할 수 있습니다.

Ultralytics와 OpenVINO 통합으로 가능한 배포 옵션#

YOLO26 모델을 OpenVINO 형식으로 내보낸 후에는 워크플로와 필요한 제어 수준에 따라 몇 가지 방법으로 추론을 실행할 수 있습니다. 더 간편하고 통합된 방식을 원한다면 Ultralytics Python 패키지를 사용하고, 더 높은 유연성과 제어가 필요하다면 기본 OpenVINO 런타임을 사용할 수 있습니다.

Ultralytics Python 패키지로 추론 실행하기#

모델을 OpenVINO 형식으로 내보낸 후에는 Ultralytics Python 패키지를 사용해 추론을 실행할 수 있습니다. 학습 및 내보내기와 동일한 인터페이스를 사용하므로 빠른 테스트와 간소화된 배포에 적합합니다.

이 방법을 사용하면 내보낸 OpenVINO 모델을 해당 디렉터리에서 불러와 이미지나 동영상 같은 입력에 대해 추론을 실행할 수 있습니다. 시스템에서 사용할 수 있는 하드웨어에 따라 "intel:cpu", "intel:gpu" 또는 "intel:npu"와 같은 옵션을 지정해 실행할 디바이스를 선택할 수도 있습니다.

아래 코드 스니펫은 내보낸 모델을 불러와 GPU를 대상으로 이미지 추론을 실행하는 방법을 보여줍니다. 추론이 완료되면 출력 이미지가 “runs/detect/predict” 디렉터리에 저장됩니다.

ov_model = YOLO("yolo26n_openvino_model/")

results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

기본 OpenVINO 패키지를 활용한 추론#

프로덕션 환경에서 모델의 실행 방식을 더 세밀하게 제어해야 한다면 기본 OpenVINO 런타임을 사용해 추론을 실행할 수 있습니다. 이 방법은 모델을 대규모 애플리케이션에 통합하거나 특정 하드웨어에서 추론이 실행되는 방식을 세밀하게 조정하려는 경우에 유용합니다.

OpenVINO는 Intel CPU, GPU, NPU 전반에서 모델을 실행하는 통합 방법과 비동기 실행, 가용 연산 리소스의 효율적 활용 등의 기능을 제공합니다. 이를 설정하려면 내보낸 모델 파일을 직접 사용할 수 있습니다. 여기에는 모델 구조를 정의하는 .xml 파일과 학습된 가중치를 포함하는 .bin 파일이 있습니다.

사용 사례에 따라 입력 크기나 전처리 단계 등의 설정을 조정할 수도 있습니다. 추론을 설정하려면 OpenVINO 런타임을 초기화하고, 대상 디바이스에 맞게 모델을 불러와 컴파일한 다음, 입력 데이터를 준비하고 추론을 실행합니다.

그림 5. OpenVINO를 사용하는 일반적인 추론 파이프라인 예시 (출처)

이를 통해 모델의 실행 방식과 전체 배포 과정에 모델을 통합하는 방식을 제어할 수 있습니다. OpenVINO 런타임에서 추론을 설정하고 실행하는 방법을 자세히 알아보려면 공식 Ultralytics 문서를 살펴보세요.

Intel 하드웨어에서 Ultralytics YOLO26을 활용하는 실제 사례#

Ultralytics와 OpenVINO 통합의 실질적인 가치는 안정적이고 지연 시간이 짧은 추론이 뚜렷한 차이를 만들어 내는 프로덕션 환경에서 확인할 수 있습니다. 이 통합이 의미 있는 성과를 이끌어 내는 주요 산업 분야를 살펴보겠습니다.

• 제조: Ultralytics YOLO26을 OpenVINO로 내보내면 생산 라인 시스템에서 Intel 하드웨어를 사용해 부품 누락, 정렬 오류, 표면 손상 등의 시각적 결함을 자동으로 감지할 수 있어 제품 품질을 높이고 비용이 큰 오류를 줄이는 데 도움이 됩니다.
• 헬스케어: 의료 영상 및 환자 모니터링 시스템은 내보낸 Ultralytics YOLO26 모델을 Intel 하드웨어에서 로컬로 실행할 수 있습니다. 이를 통해 엄격한 데이터 개인정보 보호 요구 사항을 충족하면서 안정적인 추론 성능을 유지할 수 있습니다.
• 스마트 시티: Intel 기반 엣지 카메라에서 내보낸 Ultralytics YOLO26 모델을 사용해 교통 모니터링 및 군중 분석 시스템을 구축할 수 있습니다. 이를 통해 차량 계수, 보행자 추적, 사고 감지와 같은 실시간 인사이트를 얻을 수 있습니다.
• 자동차: 운전자 모니터링과 차량 내부 감지에서는 짧은 지연 시간과 전력 효율성이 중요합니다. 따라서 내보낸 Ultralytics YOLO26 모델과 Intel 하드웨어의 조합은 임베디드 자동차 시스템에 적합합니다.

이 통합에 대해 더 자세히 알고 싶으시다면 Intel OpenVINO DevCon 워크숍 시리즈인 “주석 작업부터 배포까지: Geti, Ultralytics YOLO26, OpenVINO™를 활용한 객체 탐지 파이프라인 구축”에 참여해 보세요. 파트너십 및 에코시스템 매니저인 Francesco Mattioli가 Intel의 AI 소프트웨어 에반젤리스트 Adrian Boguszewski와 함께 실제 산업 환경에 적합한 프로덕션용 컴퓨터 비전 파이프라인을 구축하는 방법을 라이브로 시연하고 안내합니다. 워크숍에서는 데이터셋 생성과 모델 학습부터 최적화와 엣지 배포까지 전체 엔드투엔드 객체 탐지 워크플로를 다룹니다.

OpenVINO 내보내기 형식의 장점#

OpenVINO 내보내기 형식을 사용할 때의 주요 장점은 다음과 같습니다.

• 접근성과 통합 용이성: 통합 API와 80개 이상의 튜토리얼 노트북을 제공하는 OpenVINO를 사용하면 복잡성을 크게 높이지 않고도 실험 단계에서 배포 단계로 쉽게 전환할 수 있습니다.
• 다양한 하드웨어에서 동일한 모델 실행: OpenVINO를 사용하면 내보낸 모델 하나를 지원되는 Intel 하드웨어 전반에서 활용할 수 있습니다. CPU, GPU 또는 NPU에 배포할 때 디바이스마다 모델을 다시 작성하거나 조정할 필요가 없습니다.
• 내보내기 중 기본 최적화: OpenVINO로 내보내면 PyTorch 및 TensorFlow와 같은 널리 사용되는 프레임워크의 모델이 추론에 바로 사용할 수 있는 최적화 형식으로 변환되므로 별도의 변환 단계가 필요하지 않습니다.
• 하드웨어 리소스 활용도 향상: OpenVINO는 비동기 추론과 Intel 하드웨어 전반의 부하 분산을 지원하여 실제 애플리케이션의 효율성을 높이는 데 도움이 됩니다.

ExecuTorch 및 OpenVINO 백엔드로 Ultralytics YOLO26 실행하기#

요구 사항이 더 까다로운 프로덕션 환경에 Ultralytics YOLO26을 배포한다면, 디바이스 내 효율성과 고급 모델 압축을 결합하는 또 다른 방법을 사용할 수 있습니다.

온디바이스 추론 프레임워크인 ExecuTorch는 OpenVINO 백엔드를 지원합니다. 이 백엔드를 사용하면 다른 내보내기 및 런타임 경로를 통해 Intel 하드웨어에 Ultralytics YOLO26을 배포할 수 있습니다.

ExecuTorch가 모델 내보내기와 런타임 실행을 처리하고, OpenVINO는 하위 하드웨어 가속 계층으로 작동해 Intel CPU, GPU 또는 NPU에서 실제 연산을 처리합니다. 두 기술이 함께 작동하므로 ExecuTorch의 이식성과 온디바이스 효율성을 OpenVINO의 하드웨어별 최적화와 결합해 활용할 수 있습니다.

작동 방식과 ExecuTorch 및 OpenVINO 백엔드에서 Ultralytics YOLO26을 시작하는 방법을 자세히 알아보려면 최신 ExecuTorch 및 OpenVINO 업데이트를 다루는 Intel 블로그를 확인하세요.

핵심 요점#

Ultralytics와 OpenVINO 통합을 통해 YOLO26 모델을 내보내면 워크플로를 복잡하게 만들지 않고도 Intel 하드웨어 전반에서 성능을 높일 수 있습니다. 파이프라인을 다시 구성하지 않고 학습에서 배포까지 진행할 수 있습니다. 이를 통해 실제 애플리케이션에서 Intel CPU, GPU, NPU 전반에 모델을 효율적으로 실행할 수 있는 간단한 방법을 제공합니다.

커뮤니티에 참여하고 GitHub 리포지토리를 살펴보며 Vision AI에 대해 자세히 알아보세요. 컴퓨터 비전 프로젝트를 시작하려면 라이선스 옵션을 확인하세요. 제조 분야의 AI나 자동차 산업의 컴퓨터 비전과 같은 혁신에 관심이 있으신가요? 솔루션 페이지에서 자세한 내용을 확인하세요.