OpenVINO을 사용하여 Intel AI PC에서 Ultralytics YOLO 모델 실행하기

YOLO Vision 2024 (YV24)는 전 세계의 AI 애호가, 개발자, 전문가가 최신 컴퓨터 비전 혁신을 살펴볼 수 있도록 한 Ultralytics의 연례 하이브리드 이벤트입니다. YV24는 새로운 기술적 돌파구를 논의할 수 있는 훌륭한 기회이자 플랫폼이었습니다. 이 이벤트에는 AI 업계의 주요 기업들이 참여해 최신 혁신을 소개했습니다. 그중 Intel은 이벤트에 참여해 자사의 획기적인 신형 AI PC와 Intel OpenVINO 및 Ultralytics YOLO 모델(예: Ultralytics YOLO11)의 통합에 관한 기조연설을 진행했습니다.

이 강연은 LandCover.ai 데이터셋을 공동 집필했으며 개발자에게 Intel의 OpenVINO 툴킷을 교육하는 소프트웨어 에반젤리스트 Adrian Boguszewski와, 산업 자동화 및 AI 분야에서 20년 이상의 경력을 보유한 AI PC 에반젤리스트 Dmitriy Pastushenkov가 진행했습니다. 이벤트에서 Adrian은 기대감을 드러내며 다음과 같이 말했습니다. "오늘은 정말 훌륭한 이벤트입니다. Ultralytics가 새로운 YOLO 버전을 선보였기 때문만이 아니라, 이 새로운 모델을 당사의 신형 하드웨어에서 실행하는 모습과 새로운 OpenVINO 버전도 소개할 수 있기 때문입니다."

이 글에서는 YV24에서 진행된 Intel의 강연의 주요 내용을 살펴보고, Intel AI PC와 Intel Core Ultra 200V Series의 세부 사항, 그리고 OpenVINO 툴킷을 사용해 이들이 Ultralytics YOLO 모델과 통합되는 방식을 자세히 알아보겠습니다. 시작해 보겠습니다!

2024년의 첨단 AI 기술#

Dmitriy는 기존 AI와 생성형 AI의 주요 차이점을 설명하며 기조연설을 시작했습니다. 논의의 초점은 이러한 기술과 활용 사례가 2024년에 어떻게 발전하고 있는지에 맞춰졌습니다. 컴퓨터 비전 및 자연어 처리와 같은 기존 AI 기술은 자세 추정, 객체 감지, 음성 인식과 같은 작업에 필수적이었습니다. 반면 생성형 AI는 챗봇, 텍스트-이미지 생성, 코드 작성, 심지어 텍스트-비디오와 같은 애플리케이션을 포함하는 새로운 AI 기술의 흐름입니다.

그림 1. YV24 무대에서 AI 활용 사례를 논의하는 Intel의 Adrian과 Dmitriy입니다.

Dmitriy는 두 기술의 규모 차이를 지적했습니다. 그는 기존 AI 모델이 수백만 개의 파라미터로 구성되는 반면, 생성형 AI 모델은 훨씬 더 큰 규모로 작동한다고 설명했습니다. 생성형 AI 모델은 수십억 개에서 수조 개에 이르는 파라미터를 사용하는 경우가 많아 훨씬 더 많은 연산을 요구합니다.

Intel AI PC: 새로운 AI 하드웨어의 지평#

Dmitriy는 기존 AI 모델과 생성형 AI 모델을 모두 효율적으로 실행할 때 증가하는 문제를 해결하도록 설계된 새로운 하드웨어 솔루션으로 Intel AI PC를 소개했습니다. Intel AI PC는 강력하면서도 에너지 효율적인 장치입니다. 클라우드 기반 처리 없이도 다양한 AI 모델을 로컬에서 실행할 수 있습니다.

로컬 처리는 민감한 데이터를 비공개로 유지하는 데 도움이 됩니다. AI 모델이 인터넷 연결과 독립적으로 작동할 수 있으면 개인정보 보호 및 보안과 관련한 업계의 윤리적 우려에 대응할 수 있습니다.

Intel AI PC를 구동하는 핵심은 Intel Core Ultra 200V Series 프로세서입니다. 이 프로세서는 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 신경망 처리 장치(NPU)의 세 가지 핵심 구성 요소를 통합합니다. 각 구성 요소는 서로 다른 유형의 AI 워크로드를 처리하는 특정 역할을 담당합니다. CPU는 빠른 응답이 필요한 소규모 저지연 작업에 적합하고, GPU는 AI 모델 실행과 같은 높은 처리량의 작업에 최적화되어 있습니다. 전력 효율성을 고려해 설계된 NPU는 실시간 객체 감지와 같이 YOLO11 모델을 사용하는 장시간 실행 작업에 적합합니다.

CPU는 최대 5 TOPS(초당 수조 회 연산), GPU는 최대 67 TOPS를 제공하며, NPU는 시스템 리소스를 고갈시키지 않고 AI 작업을 지속적으로 실행할 수 있는 에너지 효율적인 방식을 제공한다는 점이 강조되었습니다.

Intel의 AI 발전: Intel Core Ultra 200V Series#

Intel Core Ultra 200V Series 프로세서는 세 가지 AI 엔진인 NPU, CPU, GPU를 하나의 소형 칩에 통합합니다. 성능 저하 없이 노트북과 같은 소형 장치에 적합하도록 설계되었습니다.

이 프로세서에는 RAM도 내장되어 있어 별도의 그래픽 카드가 필요하지 않습니다. 이를 통해 전력 사용량을 줄이고 장치를 소형으로 유지할 수 있습니다. Dmitriy는 프로세서의 유연성도 강조했습니다. 사용자는 작업에 따라 AI 모델을 CPU, GPU 또는 NPU에서 실행할지 결정할 수 있습니다. 예를 들어 YOLO11 모델을 사용한 객체 감지는 이러한 엔진 중 어느 것에서든 실행할 수 있으며, 텍스트-이미지 생성과 같은 더 복잡한 작업은 성능 향상을 위해 GPU와 NPU를 동시에 사용할 수 있습니다.

발표 중 Dmitriy는 주머니에서 칩을 꺼내 첨단 AI 작업을 처리할 수 있는 성능에도 불구하고 실제로 얼마나 작은지 모두가 분명히 알 수 있도록 했습니다. Intel이 강력한 AI 기능을 더욱 휴대하기 쉽고 실용적인 장치에 구현하고 있다는 점을 보여주는 재미있고 기억에 남는 방식이었습니다.

그림 2. Intel Core Ultra 200V 프로세서는 주머니에 들어갈 수 있습니다.

Intel OpenVINO로 AI 모델 최적화하기#

Intel의 최신 하드웨어 발전을 소개한 Dmitriy는 이어서 AI를 지원하는 Intel의 소프트웨어 스택으로 주제를 전환했습니다. 그는 다양한 장치에서 AI 모델을 효율적으로 최적화하고 배포하도록 설계된 Intel의 오픈 소스 프레임워크인 OpenVINO를 소개했습니다. OpenVINO는 시각 작업을 넘어 자연어 처리, 오디오 처리, Transformer 등에 사용되는 AI 모델까지 지원 범위를 확장합니다.

OpenVINO는 PyTorch, TensorFlow, ONNX와 같은 인기 플랫폼과 호환되므로 개발자는 이를 워크플로에 쉽게 통합할 수 있습니다. 그가 주목을 끈 핵심 기능 중 하나는 양자화였습니다. 양자화는 모델 가중치를 압축해 크기를 줄이므로 클라우드 없이도 대규모 모델을 로컬 장치에서 원활하게 실행할 수 있습니다. OpenVINO는 여러 프레임워크에서 작동하며 CPU, GPU, NPU, FPGA 또는 ARM 장치에서도 실행되고 Windows, Linux, macOS를 지원합니다. Dmitriy는 OpenVINO를 시작하는 방법도 청중에게 단계별로 안내했습니다.

그림 3. OpenVINO 시작 방법을 안내하는 Dmitriy입니다.

Ultralytics와 Intel OpenVINO 통합하기#

강연의 두 번째 부분에서는 Adrian이 마이크를 이어받아 Ultralytics YOLO 모델과 Intel의 OpenVINO 툴킷을 원활하게 통합해 YOLO 모델 배포 과정을 간소화하는 방법을 설명했습니다. 그는 Ultralytics Python 패키지를 사용해 YOLO 모델을 내보내고 OpenVINO 형식으로 변환하는 과정이 빠르고 간단하다는 점을 단계별로 설명했습니다. 이 통합을 통해 개발자는 Intel 하드웨어에 맞게 모델을 훨씬 쉽게 최적화하고 두 플랫폼을 최대한 활용할 수 있습니다.

그림 4. Ultralytics를 사용하면 모델을 OpenVINO 형식으로 쉽게 내보낼 수 있는 방법을 설명하는 Adrian입니다.

Adrian은 Ultralytics YOLO 모델을 학습한 후 몇 가지 간단한 명령줄 플래그를 사용해 내보낼 수 있음을 시연했습니다. 예를 들어 사용자는 최대 정밀도를 위한 부동 소수점 버전으로 내보낼지, 더 나은 속도와 효율성을 위한 양자화 버전으로 내보낼지 지정할 수 있습니다. 또한 개발자가 코드에서 직접 이 프로세스를 관리하고, INT8 양자화와 같은 옵션을 사용해 정확도를 크게 희생하지 않으면서 성능을 향상할 수 있다는 점도 강조했습니다.

Intel AI PC에서의 실시간 AI 데모#

Intel 팀은 지금까지의 이론을 실제로 적용해 Intel AI PC에서 YOLO11을 실행하는 실시간 객체 감지 데모를 선보였습니다. Adrian은 부동 소수점 모델을 사용해 CPU에서 초당 36프레임(FPS), 통합 GPU에서 100 FPS 이상, INT8 양자화 버전에서 70 FPS를 달성하며 시스템이 여러 프로세서에서 모델을 처리하는 모습을 시연했습니다. 이를 통해 Intel AI PC가 복잡한 AI 작업을 얼마나 효율적으로 처리할 수 있는지 보여주었습니다.

또한 모든 데이터나 비디오 프레임을 미리 사용할 수 있는 작업에서는 CPU, GPU, NPU를 함께 사용해 모델을 병렬로 실행할 수 있다고 설명했습니다. 이는 비디오와 같은 대규모 데이터를 처리할 때 유용합니다. 시스템은 여러 프로세서에 워크로드를 분산해 더 빠르고 효율적으로 처리할 수 있습니다.

마무리하며 Adrian은 사용자가 집에서 데모를 체험할 수 있으며, 사람 수 세기와 지능형 대기열 관리 같은 솔루션도 이용할 수 있다고 말했습니다. 이어서 사용자가 프롬프트를 입력해 GPU에서 실시간으로 꿈같은 이미지를 생성할 수 있는 보너스 데모를 선보였습니다. 이 데모는 기존 AI 작업과 창의적인 생성형 AI 프로젝트 모두에서 Intel AI PC의 다재다능함을 보여주었습니다.

Intel OpenVINO를 사용한 실시간 객체 감지#

이벤트에서 Intel은 자사의 Intel AI PC에서 실행되는 Ultralytics YOLO11 기반 실시간 객체 감지 데모를 부스에서 선보였습니다. 참석자들은 OpenVINO로 최적화되어 Intel Core Ultra 200V 프로세서에 배포된 모델이 작동하는 모습을 확인할 수 있었습니다.

그림 5. 참석자들은 Intel OpenVINO 부스에서 실시간 데모를 관람할 수 있었습니다.

Intel 부스에서 Dmitriy는 다음과 같이 말했습니다. "YOLO Vision에 참석한 것은 이번이 처음이며, 마드리드에 오게 되어 기쁩니다. Ultralytics의 YOLO11 모델을 Intel Core Ultra 200V 프로세서에서 실행하는 모습을 선보이고 있습니다. 뛰어난 성능을 보여주며, OpenVINO를 사용해 모델을 최적화하고 배포합니다. Ultralytics와 협력하고 최신 Intel 하드웨어에서 CPU, GPU, NPU를 활용해 모델을 실행하는 과정은 매우 간단했습니다." 부스에서는 참석자들이 집에 가져갈 수 있는 티셔츠와 노트북 같은 재미있는 기념품도 제공했습니다.

핵심 요점#

Intel Core Ultra 200V Series 프로세서를 선보인 Intel의 YV24 기술 강연에서는 OpenVINO 툴킷이 Ultralytics YOLO11과 같은 AI 모델을 최적화하는 방법을 소개했습니다. 이 통합을 통해 사용자는 YOLO 모델을 장치에서 직접 실행할 수 있으며, 객체 감지와 같은 컴퓨터 비전 작업에서 뛰어난 성능을 얻을 수 있습니다. 가장 큰 장점은 사용자가 클라우드 서비스에 의존할 필요가 없다는 점입니다.

개발자와 AI 애호가는 YOLO 모델을 손쉽게 실행하고 미세 조정하면서 CPU, GPU, NPU와 같은 하드웨어를 실시간 애플리케이션에 완전히 활용할 수 있습니다. Intel OpenVINO 툴킷과 Ultralytics YOLO 모델의 결합은 고급 AI 기능을 개인 장치에 직접 구현할 수 있는 새로운 가능성을 열어 주므로, 다양한 산업에서 AI 혁신을 이끌고자 하는 개발자에게 이상적인 선택입니다.

함께 협력하고 혁신해 보십시오! GitHub 리포지토리를 방문해 당사의 기여를 살펴보고 커뮤니티에 참여해 보십시오. 제조 및 의료와 같은 산업에 AI를 활용해 어떤 영향을 만들어 내고 있는지 확인해 보십시오.