OpenVINO를 사용하여 Intel AI PC에서 Ultralytics YOLO 모델 실행하기

YOLO Vision 2024 (YV24), Ultralytics의 연례 하이브리드 이벤트로, 전 세계의 AI 애호가, 개발자, 전문가들이 모여 computer vision 분야의 최신 혁신을 탐구했습니다. YV24는 새로운 혁신에 대해 논의할 수 있는 훌륭한 기회이자 플랫폼이었습니다. 이번 행사에는 AI 업계의 주요 플레이어들이 참석하여 최신 혁신 기술을 소개했습니다. 그중 Intel이 참여하여 획기적인 새로운 AI PC와 Ultralytics YOLO models(예: Ultralytics YOLO11)와 Intel OpenVINO의 통합에 관한 기조연설을 발표했습니다.

이 강연은 LandCover.ai dataset을 공동 집필하고 개발자들에게 Intel의 OpenVINO 툴킷을 교육하는 소프트웨어 에반젤리스트 Adrian Boguszewski와 industrial automation 및 AI 분야에서 20년 이상의 경력을 가진 AI PC 에반젤리스트 Dmitriy Pastushenkov가 진행했습니다. 행사 도중 Adrian은 기대감을 드러내며 다음과 같이 말했습니다. "오늘 이 행사는 Ultralytics가 a new YOLO version을 출시했을 뿐만 아니라, 당사의 새로운 하드웨어와 새로운 버전의 OpenVINO에서 실행되는 이 새로운 모델을 선보일 수 있게 되어 매우 훌륭한 자리입니다."

이 글에서는 Intel’s talk at YV24의 주요 하이라이트를 살펴보고, AI PC인 Intel Core Ultra 200V 시리즈의 세부 사항과 OpenVINO 툴킷을 사용하여 Ultralytics YOLO 모델과 통합하는 방법을 자세히 알아봅니다. 시작하겠습니다!

2024년의 최첨단 AI 기술#

Dmitriy는 전통적 AI와 generative AI의 주요 차이점을 살펴보는 것으로 기조연설을 시작했습니다. 초점은 2024년에 이러한 기술과 그 사용 사례가 어떻게 진화하고 있는지에 맞춰졌습니다. computer vision 및 natural language processing과 같은 전통적 AI 기술은 pose estimation, object detection, voice recognition과 같은 tasks에 필수적이었습니다. 그러나 생성형 AI는 chatbots, text-to-image generation, code writing, 심지어 text-to-video와 같은 애플리케이션을 포함하는 더 새로운 물결의 AI 기술을 나타냅니다.

그림 1. YV24 무대에서 AI 사용 사례를 논의하는 Intel의 Adrian과 Dmitriy.

Dmitriy는 두 기술 간의 규모 차이를 지적했습니다. 그는 traditional AI models은 수백만 개의 파라미터로 구성되는 반면, 생성형 AI 모델은 훨씬 더 큰 규모로 작동한다고 설명했습니다. Generative AI models은 종종 수십억 개 또는 수조 개의 파라미터를 포함하므로 computationally demanding 성향이 훨씬 강합니다.

Intel AI PC: 새로운 AI 하드웨어의 지평#

Dmitriy는 전통적인 AI 모델과 생성형 AI 모델을 모두 효율적으로 실행해야 하는 과제를 해결하기 위해 설계된 새로운 하드웨어 솔루션으로 Intel AI PC를 소개했습니다. Intel AI PC는 강력하고 에너지 효율적인 장치입니다. 이 PC는 클라우드 기반 처리 없이도 다양한 AI 모델을 로컬에서 실행할 수 있습니다.

로컬 처리는 민감한 data private를 유지하는 데 도움이 됩니다. AI 모델이 인터넷 연결과 독립적으로 작동할 수 있게 되면 프라이버시와 보안에 관한 산업계의 ethical concerns이 해소됩니다.

Intel AI PC를 구동하는 원동력은 Intel Core Ultra 200V 시리즈 프로세서입니다. 이 프로세서는 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 신경망 처리 장치(NPU)의 세 가지 핵심 구성 요소를 통합합니다. 각 구성 요소는 다양한 유형의 AI 워크로드를 처리하는 데 특화된 역할을 합니다. CPU는 빠른 응답이 필요한 소규모의 저지연 작업에 이상적이며, GPU는 AI 모델 실행과 같은 고처리량 연산에 최적화되어 있습니다. 전력 효율성을 위해 설계된 NPU는 YOLO11과 같은 모델을 사용한 real-time object detection처럼 장시간 실행되는 작업에 매우 적합합니다.

CPU는 최대 5 TOPS(초당 5조 회 연산), GPU는 최대 67 TOPS의 성능을 제공하며, NPU는 시스템 자원을 소모하지 않고도 지속적으로 AI 작업을 수행할 수 있는 에너지 효율적인 방식을 제공한다는 점이 강조되었습니다.

Intel의 AI 발전: Intel Core Ultra 200V 시리즈#

Intel Core Ultra 200V 시리즈 프로세서는 NPU, CPU, GPU 등 세 가지 AI 엔진을 하나의 작은 칩에 모두 통합했습니다. 그 설계는 성능 저하 없이 노트북과 같은 소형 장치에 완벽하게 적합합니다.

이 프로세서에는 RAM이 내장되어 있어 별도의 그래픽 카드가 필요하지 않습니다. 이는 전력 소비를 줄이고 기기를 컴팩트하게 유지하는 데 도움이 됩니다. Dmitriy는 또한 프로세서의 유연성을 강조했습니다. 사용자는 작업에 따라 AI 모델을 CPU, GPU 또는 NPU 중 어디서 실행할지 결정할 수 있습니다. 예를 들어, object detection with YOLO11 models은 이러한 엔진 중 어디서나 실행할 수 있으며, 텍스트 음성 변환 생성과 같은 더 복잡한 작업은 성능 향상을 위해 GPU와 NPU를 동시에 사용할 수 있습니다.

발표 중 Dmitriy는 주머니에서 직접 칩을 꺼내 보여주며, 그 작은 크기에도 불구하고 고급 AI 작업을 처리할 수 있는 능력을 확인시켜 주었습니다. 이는 Intel이 어떻게 더 휴대하기 쉽고 실용적인 장치에 강력한 AI 기능을 구현하고 있는지를 보여주는 재미있고 기억에 남는 방식이었습니다.

그림 2. 주머니에 들어갈 수 있는 Intel Core Ultra 200V 프로세서.

Intel OpenVINO를 통한 AI 모델 최적화#

Having showcased Intel's latest hardware advancements, Dmitriy then switched gears to Intel's software stack that supports AI. He introduced OpenVINO, Intel’s open-source framework designed to optimize and deploy AI models efficiently across different devices. OpenVINO goes beyond visual tasks, extending its support to AI models used for natural language processing, audio processing, transformers, etc.

OpenVINO는 PyTorch, TensorFlow,, ONNX와 같은 인기 있는 플랫폼과 호환되며, 개발자는 이를 워크플로에 쉽게 통합할 수 있습니다. 그가 주목한 핵심 기능 중 하나는 양자화입니다. Quantization은 모델 가중치를 압축하여 크기를 줄이므로, 대규모 모델도 클라우드 없이 로컬 기기에서 원활하게 실행될 수 있습니다. OpenVINO는 여러 프레임워크에서 작동하여 CPU, GPU, NPU, FPGA 또는 ARM 기기에서 실행되며, Windows, Linux 및 macOS를 지원합니다. Dmitriy는 또한 OpenVINO를 시작하는 방법을 쉽게 안내해 주었습니다.

그림 3. OpenVINO 시작 방법을 설명하는 Dmitriy.

Ultralytics와 Intel OpenVino의 통합#

강연의 두 번째 파트에서는 마이크가 Adrian에게 넘어갔고, 그는 Ultralytics YOLO 모델과 Intel OpenVINO 툴킷 간의 원활한 통합을 설명하며 YOLO model deployment 프로세스를 단순화했습니다. 그는 Ultralytics Python package를 사용하여 exporting a YOLO model을 OpenVINO 포맷으로 변환하는 과정이 얼마나 빠르고 간단한지 단계별로 설명했습니다. 이러한 통합을 통해 개발자는 Intel 하드웨어에 맞게 모델을 훨씬 쉽게 최적화하고 두 플랫폼을 모두 최대한 활용할 수 있습니다.

그림 4. Ultralytics를 사용하여 모델을 OpenVINO 형식으로 쉽게 내보내는 방법을 설명하는 Adrian.

Adrian은 Ultralytics YOLO 모델이 trained된 후 사용자가 몇 가지 간단한 명령줄 플래그를 사용하여 이를 내보낼 수 있음을 시연했습니다. 예를 들어, 사용자는 최대 precision을 위해 부동 소수점 버전으로 모델을 내보낼지, 아니면 속도와 효율성을 높이기 위해 양자화된 버전으로 내보낼지 지정할 수 있습니다. 그는 또한 정확도를 크게 희생하지 않으면서 performance를 향상하기 위해 INT8 양자화와 같은 옵션을 사용하여 개발자가 directly through code를 통해 이 프로세스를 관리할 수 있는 방법을 강조했습니다.

Intel AI PC에서의 실시간 AI 데모#

이러한 모든 이론을 실천에 옮기기 위해 Intel 팀은 Intel AI PC에서 YOLO11을 실행하여 실시간 객체 감지 데모를 선보였습니다. Adrian은 시스템이 다양한 프로세서에서 모델을 어떻게 처리하는지 보여주었으며, 부동 소수점 모델을 사용한 CPU에서 초당 36프레임(FPS), 통합 GPU에서 100 FPS 이상, INT8 양자화 버전에서 70 FPS를 달성했습니다. 이를 통해 Intel AI PC가 복잡한 AI 작업을 얼마나 효율적으로 관리할 수 있는지 증명했습니다.

그는 또한 시스템이 모든 데이터나 비디오 프레임을 사전에 사용할 수 있는 작업의 경우 CPU, GPU, NPU를 함께 사용하여 모델을 병렬로 실행할 수 있다고 지적했습니다. 이는 비디오와 같은 무거운 부하를 처리할 때 유용합니다. 시스템은 여러 프로세서에 작업을 분산시켜 더 빠르고 효율적으로 처리합니다.

마무리하며 Adrian은 사용자가 people counting 및 intelligent queue management 같은 solutions을 포함하여 집에서 직접 try out demos를 해볼 수 있다고 언급했습니다. 그런 다음 사용자가 프롬프트를 입력하여 GPU에서 실시간으로 몽환적인 이미지를 생성할 수 있는 bonus demo를 시연했습니다. 이는 전통적 AI 작업과 창의적인 생성형 AI 프로젝트 모두에 있어 Intel AI PC의 다재다능함을 보여주었습니다.

Intel OpenVINO를 이용한 실시간 객체 탐지#

행사장에서 인텔은 인텔 AI PC에서 실행되는 Ultralytics YOLO11을 사용한 real-time object detection 데모를 선보이는 부스를 운영했습니다. 참석자들은 OpenVINO로 최적화되고 인텔 코어 울트라 200V 프로세서에 배포된 모델이 작동하는 모습을 직접 확인할 수 있었습니다.

그림 5. Intel OpenVINO 부스에서 실시간 데모를 체험하는 참가자들.

Intel 부스에서 Dmitriy는 다음과 같이 공유했습니다. "이번이 저의 첫 YOLO Vision 참석인데, 마드리드에 오게 되어 기쁩니다. 저희는 Intel Core Ultra 200V 프로세서에서 구동되는 Ultralytics의 YOLO11 모델을 발표하고 있습니다. 이는 뛰어난 성능을 보여주며, OpenVINO를 사용하여 모델을 최적화하고 배포했습니다. Ultralytics와 협력하여 최신 Intel 하드웨어의 CPU, GPU, NPU를 활용해 모델을 실행하는 과정은 매우 순조로웠습니다." 부스에서는 참가자들이 가져갈 수 있는 티셔츠와 공책 같은 재미있는 기념품도 제공되었습니다.

핵심 요약#

Intel Core Ultra 200V 시리즈 프로세서를 특징으로 하는 YV24의 기술 발표는 OpenVINO 툴킷이 어떻게 Ultralytics YOLO11과 같은 AI 모델을 최적화하는지 보여주었습니다. 이러한 통합을 통해 사용자는 클라우드 서비스에 의존할 필요 없이 장치에서 직접 YOLO 모델을 실행하여 객체 탐지와 같은 컴퓨터 비전 작업에서 훌륭한 성능을 경험할 수 있습니다.

개발자와 AI 애호가들은 CPU, GPU, NPU와 같은 하드웨어를 완벽하게 활용하여 실시간 애플리케이션을 위한 YOLO 모델을 손쉽게 실행하고 미세 조정할 수 있습니다. Ultralytics YOLO 모델과 결합된 Intel OpenVINO 툴킷은 고급 AI 기능을 개인용 장치로 직접 가져올 수 있는 새로운 가능성을 열어주며, 다양한 산업 분야에서 AI 혁신을 주도하려는 개발자들에게 이상적인 선택지를 제공합니다.

함께 협업하고 혁신을 만들어 갑시다! GitHub repository를 방문하여 우리의 기여를 살펴보고 our community에 참여해 보세요. manufacturing 및 healthcare와 같은 산업에서 AI를 활용하여 어떻게 영향력을 창출하고 있는지 확인해 보세요.