OpenVINO를 사용해 Intel AI PC에서 Ultralytics YOLO 모델 실행하기

Ultralytics의 연례 하이브리드 이벤트인 YOLO Vision 2024 (YV24)에는 전 세계의 AI 애호가, 개발자, 전문가가 모여 컴퓨터 비전의 최신 혁신을 살펴보았습니다. YV24에서는 AI 업계의 주요 기업들이 최신 혁신을 발표했습니다. 그중 Intel은 새로운 AI PC와 Ultralytics YOLO 모델(예: Ultralytics YOLO11)에 Intel OpenVINO를 통합하는 방법에 관한 기조연설을 진행했습니다.

발표는 LandCover.ai 데이터셋을 공동 집필하고 Intel의 OpenVINO 툴킷에 관해 개발자를 교육하는 소프트웨어 에반젤리스트 Adrian Boguszewski와 산업 자동화 및 AI 분야에서 20년 넘는 경력을 지닌 AI PC 에반젤리스트 Dmitriy Pastushenkov가 진행했습니다. 이벤트에서 Adrian은 "오늘 훌륭한 이벤트인 이유는 Ultralytics가 새로운 YOLO 버전을 선보였기 때문만이 아닙니다. 이 새로운 모델을 새로운 하드웨어에서 실행하는 모습과 OpenVINO의 새로운 버전도 함께 소개할 수 있기 때문입니다."라고 말했습니다.

이 문서에서는 YV24에서 진행된 Intel 발표의 주요 내용을 살펴보며 Intel AI PC, Intel Core Ultra 200V Series, OpenVINO 툴킷을 사용해 Ultralytics YOLO 모델과 통합하는 방법을 다룹니다.

2024년의 AI 기술#

Dmitriy는 기존 AI와 생성형 AI의 주요 차이점을 설명하며 기조연설을 시작했습니다. 2024년에 이러한 기술과 활용 사례가 어떻게 발전하고 있는지에 초점을 맞췄습니다. 컴퓨터 비전과 자연어 처리 같은 기존 AI 기법은 자세 추정, 객체 탐지, 음성 인식과 같은 작업에 필수적이었습니다. 반면 생성형 AI는 챗봇, 텍스트-이미지 생성, 코드 작성, 심지어 텍스트-비디오 생성과 같은 애플리케이션을 포함하는 새로운 AI 기술의 흐름입니다.

그림 1. YV24 무대에서 AI 활용 사례를 논의하는 Intel의 Adrian과 Dmitriy.

Dmitriy는 두 기술의 규모 차이를 짚었습니다. 기존 AI 모델은 수백만 개의 파라미터로 구성되는 반면, 생성형 AI 모델은 훨씬 더 큰 규모로 작동한다고 설명했습니다. 생성형 AI 모델에는 수십억에서 수조 개의 파라미터가 포함되는 경우가 많아 훨씬 더 많은 연산 자원을 요구합니다.

Intel AI PC: 새로운 AI 하드웨어의 지평#

Dmitriy는 기존 AI 모델과 생성형 AI 모델을 모두 효율적으로 실행하는 데 따르는 증가하는 문제를 해결하도록 설계된 새로운 하드웨어 솔루션으로 Intel AI PC를 소개했습니다. Intel AI PC는 강력하면서도 에너지 효율적인 시스템입니다. 클라우드 기반 처리 없이도 다양한 AI 모델을 로컬에서 실행할 수 있습니다.

로컬 처리는 민감한 데이터를 비공개로 유지하는 데 도움이 됩니다. AI 모델이 인터넷 연결 없이 작동할 수 있으면 개인정보 보호와 보안에 관한 업계의 윤리적 우려를 해소하는 데 도움이 됩니다.

Intel AI PC의 핵심 동력은 Intel Core Ultra 200V Series 프로세서입니다. 이 프로세서에는 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 신경망 처리 장치(NPU)라는 세 가지 주요 구성 요소가 포함됩니다. 각 구성 요소는 서로 다른 유형의 AI 워크로드를 처리하는 특정 역할을 담당합니다. CPU는 빠른 응답이 필요한 소규모 저지연 작업에 적합하고, GPU는 AI 모델 실행과 같은 고처리량 작업에 최적화되어 있습니다. 전력 효율성을 위해 설계된 NPU는 YOLO11과 같은 모델을 사용한 실시간 객체 탐지처럼 장시간 실행되는 작업에 적합합니다.

CPU는 최대 5 TOPS(초당 수조 회 연산), GPU는 최대 67 TOPS를 제공할 수 있으며, NPU는 시스템 리소스를 소모하지 않으면서 AI 작업을 지속적으로 실행하는 에너지 효율적인 방법을 제공한다고 강조했습니다.

Intel의 AI 기술 발전: Intel Core Ultra 200V 시리즈#

Intel Core Ultra 200V Series 프로세서는 NPU, CPU, GPU라는 세 가지 AI 엔진을 모두 하나의 소형 칩에 통합합니다. 이 설계는 노트북과 같은 소형 장치에 적합합니다.

이 프로세서에는 내장 RAM도 포함되어 있어 별도의 그래픽 카드가 필요하지 않습니다. 이를 통해 전력 사용량을 줄이고 기기를 소형으로 유지할 수 있습니다. Dmitriy는 프로세서의 유연성도 강조했습니다. 사용자는 작업에 따라 CPU, GPU 또는 NPU에서 AI 모델을 실행할지 선택할 수 있습니다. 예를 들어 YOLO11 모델을 사용한 객체 탐지는 이 엔진 중 어느 것이든 실행할 수 있으며, 텍스트-이미지 생성과 같은 더 복잡한 작업은 성능 향상을 위해 GPU와 NPU를 동시에 사용할 수 있습니다.

발표 중 Dmitriy는 주머니에서 칩을 꺼내 보여 주며, 이처럼 고급 AI 작업을 처리할 수 있음에도 실제 크기가 얼마나 작은지 모두가 분명히 알 수 있도록 했습니다. 이는 Intel이 강력한 AI 기능을 더 휴대하기 편리하고 실용적인 기기에 제공하는 방식을 보여 준 재미있고 기억에 남는 방법이었습니다.

그림 2. Intel Core Ultra 200V 프로세서는 주머니에 들어갈 정도로 작습니다.

Intel OpenVINO를 활용한 AI 모델 최적화#

Intel의 최신 하드웨어를 소개한 Dmitriy는 이어서 AI용 Intel 소프트웨어 스택으로 주제를 전환했습니다. 그는 다양한 장치에서 AI 모델을 효율적으로 최적화하고 배포하도록 설계된 Intel의 오픈 소스 프레임워크인 OpenVINO를 소개했습니다. OpenVINO는 시각 작업을 넘어 자연어 처리, 오디오 처리, 트랜스포머 등에 사용되는 AI 모델도 지원합니다.

OpenVINO는 PyTorch, TensorFlow, ONNX와 같은 널리 사용되는 프레임워크와 호환되며, 개발자는 이를 워크플로에 쉽게 통합할 수 있습니다. 그가 주목을 끈 주요 기능 중 하나는 양자화였습니다. 양자화는 모델 가중치를 압축해 크기를 줄이므로, 대형 모델을 클라우드 없이 로컬 장치에서 원활하게 실행할 수 있습니다. OpenVINO는 여러 프레임워크에서 작동하며 CPU, GPU, NPU, FPGA, ARM 장치에서도 실행되고 Windows, Linux, macOS를 지원합니다. Dmitriy는 OpenVINO를 시작하는 방법도 청중에게 안내했습니다.

그림 3. OpenVINO 시작 방법을 안내하는 Dmitriy.

Ultralytics와 Intel OpenVINO 통합#

발표의 두 번째 부분에서는 Adrian이 이어받아 Ultralytics YOLO 모델과 Intel의 OpenVINO 툴킷 통합을 설명하고 YOLO 모델 배포 과정을 간소화했습니다. 그는 Ultralytics Python 패키지를 사용해 YOLO 모델을 내보내고 OpenVINO 형식으로 변환하는 과정이 빠르고 간단하다고 단계별로 설명했습니다. 이러한 통합 덕분에 개발자는 Intel 하드웨어에 맞게 모델을 훨씬 쉽게 최적화하고 두 플랫폼을 최대한 활용할 수 있습니다.

그림 4. Ultralytics를 사용하면 모델을 OpenVINO 형식으로 쉽게 내보낼 수 있다고 설명하는 Adrian.

Adrian은 Ultralytics YOLO 모델을 학습한 뒤 몇 가지 간단한 명령줄 플래그를 사용해 내보낼 수 있음을 시연했습니다. 예를 들어 사용자는 최대 정밀도를 위한 부동 소수점 버전이나 속도와 효율성을 높이기 위한 양자화 버전 중 원하는 형식을 지정할 수 있습니다. 또한 INT8 양자화와 같은 옵션을 사용해 정확도를 크게 희생하지 않으면서 성능을 향상하는 이 과정을 코드에서 직접 관리하는 방법도 설명했습니다.

Intel AI PC에서 실시간 AI 데모 시연#

Intel 팀은 이론을 실제로 적용해 Intel AI PC에서 YOLO11을 실행하는 실시간 객체 탐지 데모를 선보였습니다. Adrian은 시스템이 여러 프로세서에서 모델을 처리하는 방식을 보여주었습니다. 부동 소수점 모델은 CPU에서 초당 36프레임(FPS), 통합 GPU에서 100 FPS 이상을 달성했고, INT8 양자화 버전은 70 FPS를 기록했습니다. 이 데모는 Intel AI PC가 복잡한 AI 작업을 얼마나 효율적으로 처리하는지 보여주었습니다.

그는 또한 모든 데이터나 비디오 프레임을 미리 확보할 수 있는 작업에서는 CPU, GPU, NPU를 함께 사용해 모델을 병렬 실행할 수 있다고 설명했습니다. 이는 비디오와 같은 대용량 작업을 처리할 때 유용합니다. 시스템은 여러 프로세서에 작업을 분산해 처리 속도와 효율성을 높일 수 있습니다.

마무리하며 Adrian은 사용자가 집에서 데모를 체험할 수 있다고 언급하며 사람 수 세기와 지능형 대기열 관리 같은 솔루션을 소개했습니다. 이어서 사용자가 프롬프트를 입력하면 GPU에서 실시간으로 꿈같은 이미지를 생성하는 보너스 데모를 보여주었습니다. 이 데모는 기존 AI 작업부터 창의적인 생성형 AI 프로젝트까지 Intel AI PC가 다양한 용도로 활용될 수 있음을 보여주었습니다.

Intel OpenVINO를 활용한 실시간 객체 탐지#

행사에서 Intel은 부스를 마련해 Intel AI PC에서 Ultralytics YOLO11을 실행하는 실시간 객체 탐지 데모를 선보였습니다. 참석자들은 OpenVINO로 최적화하고 Intel Core Ultra 200V 프로세서에 배포한 모델의 실제 작동 모습을 확인할 수 있었습니다.

그림 5. 참석자들은 Intel OpenVINO 부스에서 실시간 데모를 볼 수 있었습니다.

Intel 부스에서 Dmitriy는 다음과 같이 말했습니다. "YOLO Vision에 참석한 것은 이번이 처음인데, 마드리드에 오게 되어 기쁩니다. Ultralytics의 YOLO11 모델을 Intel Core Ultra 200V 프로세서에서 실행해 선보이고 있습니다. 성능이 매우 뛰어나며, OpenVINO를 사용해 모델을 최적화하고 배포합니다. Ultralytics와 협력해 최신 Intel 하드웨어에서 CPU, GPU, NPU를 활용하여 모델을 실행하는 과정은 매우 간편했습니다." 부스에서는 참석자들이 가져갈 수 있는 티셔츠와 노트북 등의 재미있는 기념품도 제공했습니다.

핵심 요점#

Intel Core Ultra 200V Series 프로세서를 소개한 YV24의 Intel 기술 강연에서는 OpenVINO 툴킷이 Ultralytics YOLO11과 같은 AI 모델을 어떻게 최적화하는지 보여 주었습니다. 이 통합을 통해 사용자는 기기에서 YOLO 모델을 직접 실행하여 객체 탐지와 같은 컴퓨터 비전 작업에서 뛰어난 성능을 얻을 수 있습니다. 가장 큰 장점은 클라우드 서비스에 의존할 필요가 없다는 것입니다.

개발자와 AI 애호가는 YOLO 모델을 실행하고 파인튜닝하여 실시간 애플리케이션에서 CPU, GPU, NPU와 같은 하드웨어를 최대한 활용할 수 있습니다. Intel OpenVINO 툴킷과 Ultralytics YOLO 모델을 함께 사용하면 고급 AI 기능을 개인용 장치에서 바로 구현할 수 있는 새로운 가능성이 열려 다양한 산업 분야의 AI 애플리케이션을 구축하는 개발자에게 유용한 선택지가 됩니다.

GitHub 리포지토리를 방문해 기여 내용을 살펴보고 커뮤니티에 참여해 보세요. 제조업과 의료 같은 산업에서 AI를 활용해 변화를 만들어 내는 방법도 확인해 보세요.