OpenVino를 사용하여 Intel의 AI PC에서 Ultralytics YOLO 모델 실행하기

Ultralytics의 연례 하이브리드 행사인 YOLO Vision 2024(YV24)는 전 세계의 AI 애호가, 개발자 및 전문가들이 모여 컴퓨터 비전의 최신 혁신 기술을 탐구하는 자리였습니다. YV24는 새로운 혁신을 논의할 수 있는 훌륭한 기회이자 플랫폼이었습니다. 이 행사에는 AI 업계의 주요 업체들이 참여하여 최신 혁신 기술을 소개했습니다. 그중에는 새로운 획기적인 AI PC와 Intel OpenVino의 Ultralytics YOLO 모델(예: Ultralytics YOLO11)과의 통합에 대한 기조 연설을 발표한 Intel도 있었습니다.

이번 강연은 LandCover.ai 데이터 세트의 공동 저자이자 Intel의 OpenVINO 툴킷에 대해 개발자를 교육하는 소프트웨어 에반젤리스트인 Adrian Boguszewski와 산업 자동화 및 AI 분야에서 20년 이상의 경력을 가진 AI PC 에반젤리스트인 Dmitriy Pastushenkov가 이끌었습니다. 행사에서 Adrian은 "Ultralytics가 새로운 YOLO 버전을 제공했을 뿐만 아니라 새로운 하드웨어와 새로운 버전의 OpenVINO에서 이 새로운 모델을 실행할 수 있게 되어 오늘 정말 멋진 행사입니다."라고 기쁨을 표했습니다.

본 문서에서는 YV24에서 진행된 Intel 강연의 주요 내용을 살펴보고, AI PC인 Intel Core Ultra 200V 시리즈와 OpenVINO 툴킷을 사용하여 Ultralytics YOLO 모델과 어떻게 통합되는지 자세히 알아봅니다. 그럼 시작해 볼까요!

2024년의 최첨단 AI 기술

드미트리는 기조 연설을 시작하면서 기존 AI와 생성형 AI 간의 주요 차이점에 대해 자세히 설명했습니다. 초점은 이러한 기술과 사용 사례가 2024년에 어떻게 진화하고 있는지에 맞춰졌습니다. 컴퓨터 비전 및 자연어 처리와 같은 기존 AI 기술은 포즈 추정, 객체 감지 및 음성 인식과 같은 작업에 필수적이었습니다. 그러나 생성형 AI는 챗봇, 텍스트-이미지 생성, 코드 작성 및 텍스트-비디오와 같은 애플리케이션을 포함하는 새로운 AI 기술의 물결을 나타냅니다. 

‍

드미트리는 두 모델 간의 규모 차이를 지적했습니다. 그는 기존 AI 모델은 수백만 개의 파라미터로 구성되어 있지만, 생성형 AI 모델은 훨씬 더 큰 규모로 작동한다고 설명했습니다. 생성형 AI 모델은 종종 수십억 또는 수조 개의 파라미터를 포함하므로 계산 요구 사항이 훨씬 더 많습니다.

인텔 AI PC: 새로운 AI 하드웨어 개척지

Dmitriy는 기존 AI 모델과 생성형 AI 모델을 효율적으로 실행하는 데 있어 증가하는 문제점을 해결하기 위해 설계된 새로운 하드웨어 솔루션으로 Intel AI PC를 소개했습니다. Intel AI PC는 강력하고 에너지 효율적인 장치입니다. 클라우드 기반 처리 없이도 광범위한 AI 모델을 로컬에서 실행할 수 있습니다. 

로컬 처리는 민감한 데이터 프라이버시를 유지하는 데 도움이 됩니다. AI 모델이 인터넷 연결 없이 독립적으로 작동할 수 있게 되면 프라이버시 및 보안에 대한 업계의 윤리적 우려가 해결됩니다.

Intel AI PC의 핵심 동력은 Intel Core Ultra 200V 시리즈 프로세서입니다. 이 프로세서는 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU) 및 신경망 처리 장치(NPU)의 세 가지 주요 구성 요소를 통합합니다. 각 구성 요소는 다양한 유형의 AI 워크로드를 처리하는 데 특정한 역할을 합니다. CPU는 빠른 응답이 필요한 작은 크기의 짧은 지연 시간 작업에 이상적이며, GPU는 AI 모델 실행과 같은 높은 처리량 작업에 최적화되어 있습니다. 전력 효율성을 위해 설계된 NPU는 실시간 객체 감지(예: YOLO11 모델 사용)와 같이 장시간 실행되는 작업에 적합합니다. 

CPU가 최대 5 TOPS(초당 테라 연산), GPU가 최대 67 TOPS를 제공할 수 있으며 NPU는 시스템 리소스를 소모하지 않고 AI 작업을 지속적으로 실행할 수 있는 에너지 효율적인 방법을 제공한다는 점이 강조되었습니다.

Intel의 AI 발전: Intel Core Ultra 200V 시리즈

Intel Core Ultra 200V 시리즈 프로세서는 NPU, CPU, GPU의 세 가지 AI 엔진을 하나의 작은 칩에 통합했습니다. 이 디자인은 성능 저하 없이 노트북과 같은 소형 장치에 적합합니다.

이 프로세서에는 RAM이 내장되어 있어 별도의 그래픽 카드가 필요하지 않습니다. 이는 전력 사용량을 줄이고 장치를 작게 유지하는 데 도움이 됩니다. 드미트리는 프로세서의 유연성도 강조했습니다. 사용자는 작업에 따라 CPU, GPU 또는 NPU에서 AI 모델을 실행할지 여부를 결정할 수 있습니다. 예를 들어 YOLO11 모델을 사용한 객체 감지는 이러한 엔진에서 실행할 수 있으며, 텍스트-이미지 생성과 같은 더 복잡한 작업은 더 나은 성능을 위해 GPU와 NPU를 동시에 사용할 수 있습니다.

발표 중에 Dmitriy는 주머니에서 칩을 꺼내어 고급 AI 작업을 처리할 수 있는 능력에도 불구하고 실제로 얼마나 작은지 모두에게 분명히 보여주었습니다. 이는 Intel이 강력한 AI 기능을 더욱 휴대 가능하고 실용적인 장치에 제공하는 방법을 보여주는 재미있고 기억에 남는 방법이었습니다.

‍

Intel OpenVino를 사용한 AI 모델 최적화

Dmitriy는 Intel의 최신 하드웨어 발전을 선보인 후 AI를 지원하는 Intel의 소프트웨어 스택으로 전환했습니다. 그는 다양한 장치에서 AI 모델을 효율적으로 최적화하고 배포하도록 설계된 Intel의 오픈 소스 프레임워크인 OpenVINO를 소개했습니다. OpenVINO는 시각적 작업을 넘어 자연어 처리, 오디오 처리, 트랜스포머 등에 사용되는 AI 모델에 대한 지원을 확장합니다.

OpenVINO는 PyTorch, TensorFlow 및 ONNX와 같은 널리 사용되는 플랫폼과 호환되며 개발자는 워크플로에 쉽게 통합할 수 있습니다. 그가 주목한 주요 기능 중 하나는 양자화였습니다. 양자화는 모델 가중치를 압축하여 크기를 줄이므로 클라우드가 필요 없이 로컬 장치에서 대규모 모델을 원활하게 실행할 수 있습니다. OpenVINO는 CPU, GPU, NPU, FPGA 또는 ARM 장치에서도 실행되는 여러 프레임워크에서 작동하며 Windows, Linux 및 macOS를 지원합니다. Dmitriy는 또한 OpenVINO를 시작하는 것이 얼마나 쉬운지 청중에게 설명했습니다. 

‍

Ultralytics와 Intel OpenVino 통합

강연의 두 번째 파트에서는 Adrian이 마이크를 이어받아 Ultralytics YOLO 모델과 Intel의 OpenVINO 툴킷 간의 완벽한 통합을 설명하며 YOLO 모델 배포 프로세스를 간소화했습니다. 그는 Ultralytics Python 패키지를 사용하여 YOLO 모델을 내보내 OpenVINO 형식으로 변환하는 방법이 얼마나 빠르고 간단한지 단계별로 설명했습니다. 이러한 통합을 통해 개발자는 Intel 하드웨어에 맞게 모델을 최적화하고 두 플랫폼을 최대한 활용할 수 있습니다.

‍

Adrian은 Ultralytics YOLO 모델이 훈련되면 사용자가 몇 가지 간단한 명령줄 플래그를 사용하여 내보낼 수 있음을 보여주었습니다. 예를 들어 사용자는 최대 정밀도를 위해 모델을 부동 소수점 버전으로 내보낼지, 아니면 더 나은 속도와 효율성을 위해 양자화된 버전으로 내보낼지 지정할 수 있습니다. 그는 또한 개발자가 INT8 양자화와 같은 옵션을 사용하여 너무 많은 정확도를 희생하지 않고도 성능을 향상시키는 방법을 코드를 통해 직접 이 프로세스를 관리할 수 있는 방법을 강조했습니다. 

Intel AI PC의 실시간 AI 데모

이 모든 이론을 실제에 적용하여 인텔 팀은 인텔 AI PC에서 YOLO11을 실행하여 실시간 객체 감지 데모를 선보였습니다. Adrian은 시스템이 서로 다른 프로세서에서 모델을 처리하는 방법을 보여주면서 부동 소수점 모델을 사용하여 CPU에서 초당 36프레임(FPS), 통합 GPU에서 100FPS 이상, INT8 양자화 버전에서 70FPS를 달성했습니다. 그들은 인텔 AI PC가 복잡한 AI 작업을 얼마나 효율적으로 관리할 수 있는지 보여줄 수 있었습니다.

그는 또한 시스템이 CPU, GPU 및 NPU를 함께 사용하여 모델을 병렬로 실행할 수 있으며, 이는 모든 데이터 또는 비디오 프레임을 미리 사용할 수 있는 작업에 유용하다고 지적했습니다. 이는 비디오와 같은 과도한 부하를 처리할 때 유용합니다. 시스템은 워크로드를 여러 프로세서로 분할하여 더 빠르고 효율적으로 만들 수 있습니다.

마무리하면서 Adrian은 사용자가 인원수 계수 및 지능형 대기열 관리와 같은 솔루션을 포함하여 집에서 데모를 사용해 볼 수 있다고 언급했습니다. 그런 다음 사용자가 프롬프트를 입력하여 GPU에서 실시간으로 꿈과 같은 이미지를 생성할 수 있는 보너스 데모를 보여주었습니다. 이는 기존 AI 작업과 창의적인 생성 AI 프로젝트 모두에서 Intel AI PC의 다재다능함을 입증했습니다.

Intel OpenVINO를 사용한 실시간 객체 감지

Intel은 행사에서 Intel AI PC에서 실행되는 YOLO11을 사용하여 실시간 객체 감지 데모를 선보이는 부스를 운영했습니다. 참석자들은 OpenVINO로 최적화되고 Intel Core Ultra 200V 프로세서에 배포된 모델의 작동 모습을 직접 확인할 수 있었습니다. 

‍

Intel 부스에서 Dmitry는 "이번 YOLO Vision에 처음 참가했는데 마드리드에 오게 되어 기쁩니다. Ultralytics의 YOLO11 모델을 Intel Core Ultra 200V 프로세서에서 실행하여 선보이고 있습니다. 뛰어난 성능을 보여주며 OpenVINO를 사용하여 모델을 최적화하고 배포합니다. Ultralytics와 협력하여 최신 Intel 하드웨어에서 모델을 실행하는 것이 매우 쉬웠고 CPU, GPU 및 NPU를 활용했습니다."라고 말했습니다. 부스에서는 티셔츠와 노트북과 같은 재미있는 기념품도 참석자들에게 제공되었습니다.

주요 내용

Intel Core Ultra 200V 시리즈 프로세서를 특징으로 하는 YV24에서의 Intel의 기술 강연에서는 OpenVINO 툴킷이 Ultralytics YOLO11과 같은 AI 모델을 어떻게 최적화하는지 보여주었습니다. 이 통합을 통해 사용자는 YOLO 모델을 장치에서 직접 실행하여 객체 감지와 같은 컴퓨터 비전 작업에 뛰어난 성능을 제공할 수 있습니다. 주요 이점은 사용자가 클라우드 서비스에 의존할 필요가 없다는 것입니다.

개발자와 AI 매니아는 CPU, GPU 및 NPU와 같은 하드웨어를 최대한 활용하여 실시간 애플리케이션을 위해 YOLO 모델을 쉽게 실행하고 미세 조정할 수 있습니다. Ultralytics YOLO 모델과 결합된 Intel OpenVINO 툴킷은 고급 AI 기능을 개인 장치로 직접 가져올 수 있는 새로운 가능성을 열어주어 다양한 산업 분야에서 AI 혁신을 추진하려는 개발자에게 이상적인 옵션입니다.

함께 협력하고 혁신해 봅시다! GitHub 저장소를 방문하여 저희의 기여를 살펴보고 커뮤니티에 참여하세요. 저희가 어떻게 AI를 활용하여 제조업 및 헬스케어와 같은 산업에 영향을 미치고 있는지 확인해 보세요.