Ultralytics YOLO 모델을 최적화하는 데 도움이 되도록 IMX500 센서 및 AITRIOS 플랫폼을 사용한 Sony의 온-엣지 AI 처리의 획기적인 발전을 요약하는 데 동참하세요.
Ultralytics YOLO 모델을 최적화하는 데 도움이 되도록 IMX500 센서 및 AITRIOS 플랫폼을 사용한 Sony의 온-엣지 AI 처리의 획기적인 발전을 요약하는 데 동참하세요.
엣지 AI는 인공 지능(AI) 모델이 스마트폰, 카메라 및 드론과 같은 장치에서 직접 작동할 수 있도록 합니다. 주요 장점은 클라우드에 의존하지 않고 더 빠르고 실시간 의사 결정을 지원한다는 것입니다. 실제로 연구에 따르면 엣지 플랫폼에서 AI를 사용하면 운영 효율성이 최대 40%까지 향상될 수 있습니다.
에지 AI, 특히 컴퓨터 비전 분야의 최근 발전으로 인해 Ultralytics의 연례 하이브리드 이벤트인 YOLO Vision 2024(YV24)에서 핵심 주제가 되었으며, 이 이벤트는 AI 애호가와 전문가를 모아 Vision AI의 최신 기술을 탐구합니다. 이벤트의 하이라이트 중 하나는 Sony의 기조 연설 프레젠테이션이었으며, 여기서 새로운 최첨단 AI 하드웨어 및 소프트웨어 솔루션을 선보였습니다. IMX500 센서와 AITRIOS 플랫폼이 소개되었으며, Sony는 이러한 혁신이 배포 Ultralytics YOLO 모델 (예: Ultralytics YOLO11 및 Ultralytics YOLOv8)를 에지에서 더 쉽고 효율적으로 만드는 방법을 시연했습니다.
이 세션은 Sony의 이미징 솔루션에 중점을 둔 비즈니스 개발 관리자인 Wei Tang과 에지 장치에 딥러닝 모델을 배포하는 전문성을 갖춘 Edge Deep Learning 제품 관리자인 Amir Servi가 주도했습니다.
이번 글에서는 YV24에서 Sony의 강연을 다시 살펴보고 IMX500 센서와 AITRIOS 플랫폼이 더 빠르고 실시간 온-엣지 AI 처리를 위해 YOLO 모델 사용을 어떻게 최적화하는지 살펴볼 것입니다. 그럼 시작해 볼까요!
Wei Tang은 Sony가 수년 전 사진 분야에서 그랬던 것처럼 엣지 AI에 대한 접근성을 높이는 것을 목표로 세션을 시작했습니다. 그녀는 Sony가 엣지 컴퓨팅을 통해 고급 Vision AI를 더 많은 사람들에게 제공하는 데 집중하고 있다고 강조했습니다. 이의 주요 동인 중 하나는 엣지 AI가 환경에 미치는 긍정적인 영향입니다. 엣지 컴퓨팅은 대규모 데이터 센터에 의존하는 대신 장치에서 직접 데이터를 처리함으로써 에너지 사용량을 줄이고 탄소 배출량을 줄이는 데 도움이 됩니다. 이는 더 나은 성능을 제공할 뿐만 아니라 보다 지속 가능한 미래를 만드는 데 도움이 되는 기술을 구축하려는 Sony의 노력에 완벽하게 부합하는 더 스마트하고 친환경적인 접근 방식입니다.
Wei는 Sony의 이미징 및 센싱 기술 전문 사업부인 Sony Semiconductor Solutions가 고급 이미지 센서를 만드는 방법에 대해 설명했습니다. 이러한 센서는 다양한 장치에서 사용되어 빛을 전자 신호로 변환하여 이미지를 캡처합니다. 매년 12억 개 이상의 센서가 출하되어 전 세계 휴대폰의 거의 절반에서 발견되면서 Sony는 이미징 산업의 주요 업체가 되었습니다.
이러한 전문성을 바탕으로 Sony는 이제 이러한 센서를 이미지 캡처 장치에서 실시간으로 데이터를 처리할 수 있는 스마트 도구로 전환하여 장치에서 직접 AI 기반 인사이트를 활성화함으로써 한 단계 더 나아가고 있습니다. Sony가 이러한 전환을 지원하기 위해 사용하는 하드웨어 및 소프트웨어 솔루션에 대해 논의하기 전에 이러한 혁신이 해결하고자 하는 에지 AI 문제를 이해해 보겠습니다.
에지 AI 솔루션을 개발하는 데는 몇 가지 주요 과제가 있으며, 특히 카메라 및 센서와 같은 장치를 사용할 때 그렇습니다. 이러한 장치 중 상당수는 전력 및 처리 능력이 제한되어 있어 고급 AI 모델을 효율적으로 실행하기가 까다롭습니다.
다른 주요 제한 사항은 다음과 같습니다.
Sony IMX500 Intelligent Vision Sensor는 엣지 AI 처리 분야에서 획기적인 하드웨어입니다. 온칩 AI 기능을 갖춘 세계 최초의 지능형 비전 센서입니다. 이 센서는 데이터 처리 병목 현상, 개인 정보 보호 문제 및 성능 제한을 포함하여 엣지 AI의 많은 문제를 극복하는 데 도움이 됩니다.
다른 센서는 단순히 이미지와 프레임을 전달하는 반면, IMX500은 전체 스토리를 전달합니다. 센서에서 직접 데이터를 처리하여 장치가 실시간으로 통찰력을 생성할 수 있도록 합니다. 세션 동안 Wei Tang은 "당사의 고급 이미지 센서 기술을 활용하여 일상 생활을 향상시킬 수 있는 새로운 세대의 애플리케이션을 지원하는 것을 목표로 합니다."라고 말했습니다. IMX500은 장치가 데이터를 클라우드로 보내 처리할 필요 없이 센서에서 직접 처리하는 방식을 변환하여 이 목표를 달성하도록 설계되었습니다.
주요 기능은 다음과 같습니다.
IMX500은 단순한 카메라 센서가 아니라 장치가 주변 세계를 인식하고 상호 작용하는 방식을 혁신하는 강력한 감지 도구입니다. Sony는 AI를 센서에 직접 내장함으로써 자동차, 헬스케어, 스마트 시티와 같은 산업에서 엣지 AI에 대한 접근성을 높이고 있습니다. 다음 섹션에서는 IMX500이 Ultralytics YOLO 모델과 함께 작동하여 엣지 장치에서 객체 감지 및 데이터 처리를 개선하는 방법에 대해 자세히 살펴보겠습니다.
Wei Tang은 IMX500 센서를 소개한 후 하드웨어가 중요하지만 엣지 AI 배포와 관련된 모든 문제를 해결하기에는 충분하지 않다고 말했습니다. 그녀는 카메라 및 센서와 같은 장치에 AI를 통합하려면 고급 하드웨어 이상이 필요하며 이를 관리할 수 있는 스마트 소프트웨어가 필요하다고 설명했습니다. Sony의 AITRIOS 플랫폼은 엣지 장치에 AI를 더 간단하고 효율적으로 배포할 수 있도록 설계된 안정적인 소프트웨어 솔루션을 제공합니다.
AITRIOS는 복잡한 AI 모델과 엣지 장치의 한계 사이의 다리 역할을 합니다. 개발자에게 사전 훈련된 AI 모델을 신속하게 배포할 수 있는 다양한 도구를 제공합니다. 그러나 더 중요한 것은 AI 모델이 실제 변화에 적응할 수 있도록 지속적인 재학습을 지원한다는 것입니다.
Wei는 또한 AITRIOS가 AI 전문 지식이 없는 사람들을 위해 프로세스를 단순화하여 특정 엣지 AI 사용 사례에 맞게 AI 모델을 사용자 정의할 수 있는 유연성을 제공한다고 강조했습니다. 또한 메모리 제약 및 성능 저하와 같은 일반적인 문제를 해결하여 정확성이나 속도를 희생하지 않고도 AI를 더 작은 장치에 더 쉽게 통합할 수 있습니다.
강연의 두 번째 부분에서는 마이크가 Amir에게 전달되어 Sony가 IMX500 센서에서 YOLO 모델을 최적화한 방법에 대한 기술적인 측면을 자세히 설명했습니다.
Amir는 "Glenn과 팀 덕분에 YOLO 모델은 엣지 환경에 적합하며 비교적 쉽게 최적화할 수 있습니다. 걱정하지 마세요. 제가 확신시켜 드리겠습니다."라고 말하며 시작했습니다. Amir는 일반적으로 AI 모델 자체를 최적화하는 데 많은 노력이 집중되지만, 이러한 접근 방식은 종종 중요한 문제인 후처리 병목 현상을 간과한다고 설명했습니다.
Amir는 많은 경우 AI 모델이 작업을 완료한 후 호스트 장치에서 데이터를 전송하고 후처리하는 과정에서 상당한 지연이 발생할 수 있다고 지적했습니다. 장치와 호스트 간의 이러한 데이터 전송은 지연 시간을 발생시키며, 이는 최상의 성능을 달성하는 데 큰 장애물이 될 수 있습니다.
이 문제를 해결하기 위해 Amir는 AI 모델에만 집중하기보다는 전체 엔드 투 엔드 시스템을 살펴보는 것이 중요하다고 강조했습니다. IMX500 센서를 통해 그들은 후처리가 모든 것을 느리게 만드는 주요 병목 현상이라는 것을 발견했습니다. 그는 진정한 획기적인 발전은 온칩 비최대 억제(NMS)를 잠금 해제하는 것이라고 말했습니다.
이를 통해 센서에서 직접 후처리가 가능해져 대용량 데이터를 호스트 장치로 전송할 필요가 없어졌습니다. 소니는 IMX500에서 직접 NMS를 실행함으로써 Amir가 '후처리 유리 천장'이라고 부르는 것을 돌파하여 훨씬 더 나은 성능과 지연 시간 단축을 달성했습니다.
다음으로, 이 혁신이 YOLO 모델, 특히 YOLOv8 Nano가 에지 장치에서 더 효율적으로 실행되도록 지원하여 리소스가 제한된 소형 하드웨어에서 실시간 AI 처리를 위한 새로운 기회를 창출하는 데 어떻게 도움이 되었는지 살펴보겠습니다.
Amir는 YOLOv8 Nano 모델의 성능을 엣지에서 NMS를 실행하여 4배로 향상시킬 수 있었던 방법을 시연하면서 강연을 성공적으로 마무리했습니다. 그는 IMX500 AI 센서와 통합된 Raspberry Pi 5에서 이를 선보였습니다. Amir는 호스트 장치에서 후처리할 때와 IMX500 칩에서 후처리할 때의 성능을 비교했습니다.
결과는 온칩에서 처리했을 때 초당 프레임 수(FPS)와 전체 효율성이 크게 향상되었음을 분명히 보여주었습니다. 최적화를 통해 객체 감지가 더 빠르고 원활해졌으며 Raspberry Pi와 같이 리소스가 제한된 소형 장치에서 실시간 AI 처리가 가능하다는 것을 입증했습니다.
Sony의 IMX500 센서, AITRIOS 플랫폼 및 Ultralytics YOLO 모델은 엣지 AI 개발을 재구성하고 있습니다. 온칩 AI 처리는 데이터 전송 및 대기 시간을 줄이는 동시에 개인 정보 보호, 보안 및 효율성을 향상시킵니다. AI 모델뿐만 아니라 전체 시스템에 집중함으로써 이러한 혁신은 개발자와 심층적인 AI 전문 지식이 없는 사람들에게 엣지 AI를 더욱 쉽게 접근할 수 있도록 합니다. 엣지 AI 기술이 계속 발전함에 따라 더 스마트한 장치, 더 빠른 의사 결정 및 광범위한 산업 및 애플리케이션에서 더 강력한 개인 정보 보호가 가능해질 것입니다.
AI에 대해 계속 배우려면 커뮤니티와 계속 소통하세요! GitHub 저장소를 확인하여 농업 및 제조와 같은 다양한 산업 분야에서 AI를 사용하여 혁신적인 솔루션을 만드는 방법을 알아보세요. 🚀
.webp)