IMX500 센서와 AITRIOS 플랫폼을 통해 소니의 최첨단 AI 프로세싱의 혁신을 요약하여 Ultralytics YOLO 모델을 최적화하는 방법을 알아보세요.
IMX500 센서와 AITRIOS 플랫폼을 통해 소니의 최첨단 AI 프로세싱의 혁신을 요약하여 Ultralytics YOLO 모델을 최적화하는 방법을 알아보세요.
엣지 AI는 인공 지능(AI) 모델이 스마트폰, 카메라 및 드론과 같은 장치에서 직접 작동할 수 있도록 합니다. 주요 장점은 클라우드에 의존하지 않고 더 빠르고 실시간 의사 결정을 지원한다는 것입니다. 실제로 연구에 따르면 엣지 플랫폼에서 AI를 사용하면 운영 효율성이 최대 40%까지 향상될 수 있습니다.
AI 애호가와 전문가들이 모여 최신 비전 AI를 살펴보는 Ultralytics 연례 하이브리드 이벤트인 YOLO Vision 2024(YV24)에서는 최근 컴퓨터 비전 분야의 엣지 AI가 중심 주제가 되었습니다. 이 행사의 하이라이트 중 하나는 소니의 기조연설로, 소니는 새로운 최첨단 AI 하드웨어 및 소프트웨어 솔루션을 선보였습니다. 소니는 IMX500 센서와 AITRIOS 플랫폼을 선보였으며, 이러한 혁신을 통해 다음과 같은 Ultralytics YOLO 모델을 보다 쉽고 효율적으로 배포할 수 있는 방법을 시연했습니다. Ultralytics YOLO11 및 Ultralytics YOLOv8 을 지원합니다.
이 세션은 Sony의 이미징 솔루션에 중점을 둔 비즈니스 개발 관리자인 Wei Tang과 에지 장치에 딥러닝 모델을 배포하는 전문성을 갖춘 Edge Deep Learning 제품 관리자인 Amir Servi가 주도했습니다.
이 기사에서는 YV24에서 소니의 강연을 다시 살펴보고 IMX500 센서와 AITRIOS 플랫폼이 어떻게 YOLO 모델의 사용을 최적화하여 더 빠른 실시간 온에지 AI 처리를 지원하는지 살펴봅니다. 지금 시작하겠습니다!
Wei Tang은 Sony가 수년 전 사진 분야에서 그랬던 것처럼 엣지 AI에 대한 접근성을 높이는 것을 목표로 세션을 시작했습니다. 그녀는 Sony가 엣지 컴퓨팅을 통해 고급 Vision AI를 더 많은 사람들에게 제공하는 데 집중하고 있다고 강조했습니다. 이의 주요 동인 중 하나는 엣지 AI가 환경에 미치는 긍정적인 영향입니다. 엣지 컴퓨팅은 대규모 데이터 센터에 의존하는 대신 장치에서 직접 데이터를 처리함으로써 에너지 사용량을 줄이고 탄소 배출량을 줄이는 데 도움이 됩니다. 이는 더 나은 성능을 제공할 뿐만 아니라 보다 지속 가능한 미래를 만드는 데 도움이 되는 기술을 구축하려는 Sony의 노력에 완벽하게 부합하는 더 스마트하고 친환경적인 접근 방식입니다.
Wei는 Sony의 이미징 및 센싱 기술 전문 사업부인 Sony Semiconductor Solutions가 고급 이미지 센서를 만드는 방법에 대해 설명했습니다. 이러한 센서는 다양한 장치에서 사용되어 빛을 전자 신호로 변환하여 이미지를 캡처합니다. 매년 12억 개 이상의 센서가 출하되어 전 세계 휴대폰의 거의 절반에서 발견되면서 Sony는 이미징 산업의 주요 업체가 되었습니다.
이러한 전문성을 바탕으로 Sony는 이제 이러한 센서를 이미지 캡처 장치에서 실시간으로 데이터를 처리할 수 있는 스마트 도구로 전환하여 장치에서 직접 AI 기반 인사이트를 활성화함으로써 한 단계 더 나아가고 있습니다. Sony가 이러한 전환을 지원하기 위해 사용하는 하드웨어 및 소프트웨어 솔루션에 대해 논의하기 전에 이러한 혁신이 해결하고자 하는 에지 AI 문제를 이해해 보겠습니다.
에지 AI 솔루션을 개발하는 데는 몇 가지 주요 과제가 있으며, 특히 카메라 및 센서와 같은 장치를 사용할 때 그렇습니다. 이러한 장치 중 상당수는 전력 및 처리 능력이 제한되어 있어 고급 AI 모델을 효율적으로 실행하기가 까다롭습니다.
다른 주요 제한 사항은 다음과 같습니다.
Sony IMX500 Intelligent Vision Sensor는 엣지 AI 처리 분야에서 획기적인 하드웨어입니다. 온칩 AI 기능을 갖춘 세계 최초의 지능형 비전 센서입니다. 이 센서는 데이터 처리 병목 현상, 개인 정보 보호 문제 및 성능 제한을 포함하여 엣지 AI의 많은 문제를 극복하는 데 도움이 됩니다.
다른 센서는 단순히 이미지와 프레임을 전달하는 반면, IMX500은 전체 스토리를 전달합니다. 센서에서 직접 데이터를 처리하여 장치가 실시간으로 통찰력을 생성할 수 있도록 합니다. 세션 동안 Wei Tang은 "당사의 고급 이미지 센서 기술을 활용하여 일상 생활을 향상시킬 수 있는 새로운 세대의 애플리케이션을 지원하는 것을 목표로 합니다."라고 말했습니다. IMX500은 장치가 데이터를 클라우드로 보내 처리할 필요 없이 센서에서 직접 처리하는 방식을 변환하여 이 목표를 달성하도록 설계되었습니다.
주요 기능은 다음과 같습니다.
IMX500은 단순한 카메라 센서가 아니라 기기가 주변 세계를 인식하고 상호 작용하는 방식을 혁신하는 강력한 센싱 툴입니다. 소니는 센서에 AI를 직접 내장함으로써 자동차, 의료, 스마트 시티와 같은 산업에서 엣지 AI에 대한 접근성을 높이고 있습니다. 다음 섹션에서는 IMX500이 Ultralytics YOLO 모델과 함께 작동하여 엣지 디바이스에서 물체 감지 및 데이터 처리를 개선하는 방법에 대해 자세히 살펴보겠습니다.
Wei Tang은 IMX500 센서를 소개한 후 하드웨어가 중요하지만 엣지 AI 배포와 관련된 모든 문제를 해결하기에는 충분하지 않다고 말했습니다. 그녀는 카메라 및 센서와 같은 장치에 AI를 통합하려면 고급 하드웨어 이상이 필요하며 이를 관리할 수 있는 스마트 소프트웨어가 필요하다고 설명했습니다. Sony의 AITRIOS 플랫폼은 엣지 장치에 AI를 더 간단하고 효율적으로 배포할 수 있도록 설계된 안정적인 소프트웨어 솔루션을 제공합니다.
AITRIOS는 복잡한 AI 모델과 엣지 장치의 한계 사이의 다리 역할을 합니다. 개발자에게 사전 훈련된 AI 모델을 신속하게 배포할 수 있는 다양한 도구를 제공합니다. 그러나 더 중요한 것은 AI 모델이 실제 변화에 적응할 수 있도록 지속적인 재학습을 지원한다는 것입니다.
Wei는 또한 AITRIOS가 AI 전문 지식이 없는 사람들을 위해 프로세스를 단순화하여 특정 엣지 AI 사용 사례에 맞게 AI 모델을 사용자 정의할 수 있는 유연성을 제공한다고 강조했습니다. 또한 메모리 제약 및 성능 저하와 같은 일반적인 문제를 해결하여 정확성이나 속도를 희생하지 않고도 AI를 더 작은 장치에 더 쉽게 통합할 수 있습니다.
강연의 두 번째 파트에서는 아미르에게 마이크를 넘겨, 소니가 IMX500 센서에서 YOLO 모델을 최적화한 기술적 측면에 대해 자세히 설명했습니다.
Amir는 "YOLO 모델은 엣지 있는 모델이며, Glenn과 팀 덕분에 최적화하기가 매우 쉽습니다."라고 말문을 열었습니다. 제가 여러분을 설득할 테니 걱정하지 마세요."라고 말했습니다. 이어서 아미르는 일반적으로 AI 모델 자체의 최적화에 많은 초점을 맞추지만, 이러한 접근 방식은 후처리 병목 현상이라는 중요한 문제를 간과하는 경우가 많다고 설명했습니다.
Amir는 많은 경우 AI 모델이 작업을 완료한 후 호스트 장치에서 데이터를 전송하고 후처리하는 과정에서 상당한 지연이 발생할 수 있다고 지적했습니다. 장치와 호스트 간의 이러한 데이터 전송은 지연 시간을 발생시키며, 이는 최상의 성능을 달성하는 데 큰 장애물이 될 수 있습니다.
아미르는 이 문제를 해결하기 위해 AI 모델에만 집중하는 것이 아니라 전체 엔드투엔드 시스템을 살펴보는 것이 중요하다고 강조했습니다. IMX500 센서를 통해 후처리가 모든 것을 느리게 하는 주요 병목 현상이라는 것을 발견했습니다. 그는 진정한 돌파구는 온칩 비최대 억제(NMS)의 잠금을 해제하는 것이라고 말했습니다.
이를 통해 센서에서 직접 포스트 프로세싱을 수행할 수 있어 대량의 데이터를 호스트 장치로 전송할 필요가 없어졌습니다. 소니는 IMX500에서 직접 NMS 실행함으로써 아미르가 '포스트 프로세싱의 유리 천장'이라고 부르는 문제를 해결하여 훨씬 더 나은 성능과 지연 시간 단축을 달성했습니다.
다음으로, 이 혁신이 YOLO 모델에 어떤 도움이 되었는지, 특히 YOLOv8 나노가 엣지 디바이스에서 더 효율적으로 실행되어 리소스가 제한된 소형 하드웨어에서 실시간 AI 처리를 위한 새로운 기회를 창출하는 데 어떻게 도움이 되었는지 살펴보겠습니다.
강연을 마무리하며 아미르는 엣지에서 NMS 실행하여 YOLOv8 Nano 모델의 성능을 4배로 향상시킬 수 있었던 방법을 시연했습니다. 그는 IMX500 AI 센서와 통합된 라즈베리 파이 5에서 이를 선보였습니다. 아미르는 호스트 디바이스에서 후처리를 처리했을 때와 IMX500 칩에서 처리했을 때의 성능을 비교했습니다.
결과는 온칩에서 처리했을 때 초당 프레임 수(FPS)와 전체 효율성이 크게 향상되었음을 분명히 보여주었습니다. 최적화를 통해 객체 감지가 더 빠르고 원활해졌으며 Raspberry Pi와 같이 리소스가 제한된 소형 장치에서 실시간 AI 처리가 가능하다는 것을 입증했습니다.
소니의 IMX500 센서, AITRIOS 플랫폼, Ultralytics YOLO 모델은 엣지 AI 개발을 재편하고 있습니다. 온칩 AI 프로세싱은 데이터 전송과 지연 시간을 줄이면서 개인정보 보호, 보안, 효율성을 향상시킵니다. 이러한 혁신은 AI 모델뿐만 아니라 전체 시스템에 집중함으로써 개발자와 심층적인 AI 전문 지식이 없는 사람들도 엣지 AI에 더 쉽게 접근할 수 있게 해줍니다. 엣지 AI 기술이 계속 발전함에 따라 다양한 산업과 애플리케이션에서 더 스마트한 디바이스, 더 빠른 의사 결정, 더 강력한 개인정보 보호가 가능해질 것입니다.
AI에 대해 계속 배우려면 커뮤니티와 계속 소통하세요! GitHub 저장소를 확인하여 농업 및 제조와 같은 다양한 산업 분야에서 AI를 사용하여 혁신적인 솔루션을 만드는 방법을 알아보세요. 🚀
