Sony IMX500 및 AITRIOS로 Edge AI 강화

엣지 AI는 인공지능(AI) 모델이 스마트폰, 카메라, 드론과 같은 장치에서 직접 작동할 수 있도록 지원합니다. 이 기술의 핵심 장점은 클라우드에 의존하지 않고 더 빠르고 실시간적인 의사 결정을 지원한다는 점입니다. 실제로 연구에 따르면 엣지 플랫폼에서 AI를 사용하면 운영 효율성을 최대 40%까지 높일 수 있습니다.

Recent advancements in edge AI, particularly in computer vision, made it a central topic at YOLO Vision 2024 (YV24), Ultralytics' annual hybrid event that brings together AI enthusiasts and experts to explore the latest in Vision AI. One of the event's highlights was Sony's keynote presentation, where they showcased their new cutting-edge AI hardware and software solutions. The IMX500 sensor and AITRIOS platform were featured, and Sony demonstrated how these innovations are making it easier and more efficient to deploy Ultralytics YOLO models like Ultralytics YOLO11 and Ultralytics YOLOv8 on edge.

The session was led by Wei Tang, a Business Development Manager who focuses on Sony's imaging solutions, and Amir Servi, an Edge Deep Learning Product Manager with expertise in deploying deep learning models on edge devices.

본 기사에서는 YV24에서 진행된 Sony의 발표 내용을 다시 살펴보고, IMX500 센서와 AITRIOS 플랫폼이 어떻게 YOLO 모델 사용을 최적화하여 더 빠르고 실시간에 가까운 엣지 AI 처리를 가능하게 하는지 탐구하겠습니다. 시작해 보겠습니다!

Link to this sectionSony의 비전: 엣지 장치에서의 AI 대중화#

Wei Tang은 수년 전 사진 기술을 대중화했던 것처럼 엣지 AI를 누구나 쉽게 사용할 수 있게 만들겠다는 Sony의 목표를 이야기하며 세션을 시작했습니다. 그녀는 Sony가 이제 엣지 컴퓨팅을 통해 더 많은 사람들에게 고급 Vision AI를 제공하는 데 집중하고 있음을 강조했습니다. 이를 이끄는 주요 요인 중 하나는 엣지 AI가 환경에 미칠 수 있는 긍정적인 영향입니다. 거대한 데이터 센터에 의존하는 대신 장치에서 직접 데이터를 처리함으로써, 엣지 컴퓨팅은 에너지 사용을 줄이고 탄소 배출을 감소시키는 데 기여합니다. 이는 더 잘 작동할 뿐만 아니라 보다 지속 가능한 미래를 만드는 데 도움을 주는 기술을 구축하려는 Sony의 의지와 완벽하게 부합하는 더 스마트하고 친환경적인 접근 방식입니다.

Wei는 이미징 및 센싱 기술을 전문으로 하는 Sony의 사업부인 Sony Semiconductor Solutions가 어떻게 고급 이미지 센서를 개발하는지 설명했습니다. 이러한 센서는 다양한 장치에 사용되며, 빛을 전자 신호로 변환하여 이미지를 캡처합니다. 매년 12억 개 이상의 센서가 출하되고 있으며 전 세계 휴대폰의 거의 절반에 탑재되어 있어, Sony는 이미징 업계의 주요 기업으로 자리 잡고 있습니다.

그림 1. Sony 이미지 센서 예시.

이러한 전문 지식을 바탕으로 Sony는 센서를 단순한 이미지 캡처 장치에서 실시간으로 데이터를 처리하여 장치에서 직접 AI 기반 인사이트를 생성할 수 있는 스마트 도구로 변모시키며 한 단계 더 나아가고 있습니다. Sony가 이러한 변화를 지원하기 위해 사용하는 하드웨어 및 소프트웨어 솔루션에 대해 논의하기 전에, 이러한 혁신이 해결하고자 하는 엣지 AI의 과제를 이해해 보겠습니다.

Link to this section엣지 장치에서의 AI 이미지 처리 관련 과제#

엣지 AI 솔루션을 개발할 때는 특히 카메라나 센서와 같은 장치를 다룰 때 몇 가지 주요한 과제가 따릅니다. 이러한 장치 중 다수는 전력 및 처리 능력이 제한적이며, 이로 인해 고급 AI 모델을 효율적으로 실행하기가 어렵습니다.

그 외의 주요 제한 사항은 다음과 같습니다.

• 소프트웨어 복잡성: 하드웨어 구성이 서로 다른 다양한 엣지 장치에서 작동하도록 AI 모델을 조정하는 과정은 복잡할 수 있으며 조정 및 최적화가 필요합니다.
• 후처리 병목 현상: 장치에서 호스트로 대량의 데이터를 전송하여 후처리를 수행할 때 종종 지연이 발생합니다. 이는 실제 AI 모델 추론보다 더 많은 시간이 소요되는 경우가 많습니다.
• 데이터 폭발: 많은 IoT 장치가 지속적으로 데이터를 생성함에 따라 로컬에서 처리해야 하는 데이터의 양이 감당할 수 없을 정도로 많아져 엣지 장치에 더 큰 부담을 줍니다.

Link to this sectionSony IMX500 지능형 비전 센서 알아보기#

Sony IMX500 지능형 비전 센서는 엣지 AI 처리 분야의 판도를 바꾸는 하드웨어입니다. 이는 온칩 AI 기능을 갖춘 세계 최초의 지능형 비전 센서입니다. 이 센서는 데이터 처리 병목 현상, 개인정보 보호 문제, 성능 제한 등 엣지 AI의 많은 과제를 극복하도록 돕습니다.

다른 센서들은 단순히 이미지와 프레임을 전달하는 역할만 하지만, IMX500은 전체적인 정보를 제공합니다. 센서에서 직접 데이터를 처리하므로 장치가 실시간으로 인사이트를 생성할 수 있습니다. 세션 중에 Wei Tang은 "당사의 고급 이미지 센서 기술을 활용하여 일상 생활을 향상시킬 수 있는 차세대 애플리케이션에 힘을 실어주고자 합니다."라고 말했습니다. IMX500은 이러한 목표를 달성하도록 설계되었으며, 처리를 위해 클라우드로 데이터를 보낼 필요 없이 센서에서 직접 데이터를 처리하는 방식을 장치에 도입하고 있습니다.

주요 특징은 다음과 같습니다.

• 메타데이터 출력: 전체 이미지를 전송하는 대신 메타데이터를 출력하여 데이터 크기를 크게 줄임으로써 대역폭 사용량과 비용을 절감합니다.
• Enhanced privacy: By processing data on the device, the IMX500 improves privacy, especially in situations where sensitive information is involved, such as human-related computer vision tasks like person counting.
• 실시간 처리: 데이터를 빠르게 처리하는 센서의 능력은 자율 시스템과 같은 엣지 AI 애플리케이션을 가능하게 하는 신속한 실시간 의사 결정을 지원합니다.

The IMX500 is not just a camera sensor - it’s a powerful sensing tool that transforms how devices perceive and interact with the world around them. By embedding AI directly into the sensor, Sony is making edge AI more accessible for industries like automotive, healthcare, and smart cities. In subsequent sections, we'll dive deeper into how the IMX500 works with Ultralytics YOLO models to improve object detection and data processing on edge devices.

그림 2. YOLO Vision 2024 무대에서 Sony IMX500 지능형 비전 센서를 소개하는 Wei Tang.

Link to this sectionSony의 AITRIOS 플랫폼: 엣지 AI 간소화#

IMX500 센서를 소개한 후, Wei Tang은 하드웨어가 매우 중요하지만 엣지 AI 배포에 관련된 모든 문제를 해결하기에는 충분하지 않다고 말했습니다. 그녀는 카메라나 센서와 같은 장치에 AI를 통합하려면 고급 하드웨어 이상의 것이 필요하며 이를 관리할 스마트한 소프트웨어가 필수적이라고 언급했습니다. 여기서 Sony의 AITRIOS 플랫폼이 등장하며, 엣지 장치에 AI를 더 쉽고 효율적으로 배포할 수 있도록 설계된 신뢰할 수 있는 소프트웨어 솔루션을 제공합니다.

AITRIOS는 복잡한 AI 모델과 엣지 장치의 제한 사항 사이의 가교 역할을 합니다. 이 플랫폼은 사전 학습된 AI 모델을 빠르게 배포할 수 있는 다양한 도구를 개발자에게 제공합니다. 더 중요한 점은 AI 모델이 실제 환경의 변화에 적응할 수 있도록 지속적인 재학습을 지원한다는 것입니다.

Wei는 또한 AITRIOS가 AI 전문 지식이 부족한 사람들을 위해 과정을 단순화하며, 특정 엣지 AI 사용 사례에 맞게 AI 모델을 사용자 지정할 수 있는 유연성을 제공한다고 강조했습니다. 또한 메모리 제약 및 성능 저하와 같은 일반적인 과제를 해결하여 정확도나 속도를 희생하지 않으면서도 소형 장치에 AI를 쉽게 통합할 수 있도록 합니다.

그림 3. 엣지 AI 사용 사례 예시. 이미지 출처: SONY Semicon | AITRIOS.

Link to this sectionIMX500에서의 YOLO 모델 최적화#

발표의 두 번째 부분에서는 Amir가 마이크를 이어받아 Sony가 IMX500 센서에서 YOLO 모델을 최적화한 방법에 대한 기술적인 부분을 심도 있게 설명했습니다.

Amir는 "YOLO 모델은 엣지 환경에 적합하며 Glenn과 팀 덕분에 최적화하기가 매우 쉽습니다. 제가 증명해 보이겠습니다, 걱정하지 마세요."라며 말을 시작했습니다. Amir는 사람들이 주로 AI 모델 자체를 최적화하는 데 집중하지만, 이 방식은 종종 중요한 문제인 후처리 병목 현상을 간과한다고 설명했습니다.

Amir는 많은 경우 AI 모델이 작업을 완료한 후, 호스트 장치에서 데이터를 전송하고 후처리를 처리하는 과정에서 상당한 지연이 발생할 수 있다고 지적했습니다. 장치와 호스트 간의 이러한 데이터 이동은 지연 시간을 유발하며, 이는 최고의 성능을 달성하는 데 큰 장애물이 될 수 있습니다.

그림 4. YOLO Vision 2024 무대에서 후처리 병목 현상에 대해 설명하는 Amir Servi.

이를 해결하기 위해 Amir는 AI 모델에만 집중하기보다 전체 시스템을 종단 간(end-to-end)으로 고려하는 것이 중요하다고 강조했습니다. IMX500 센서를 통해 그들은 후처리가 모든 프로세스를 느리게 만드는 주요 병목 현상임을 발견했습니다. 그는 실제 돌파구가 온칩 비최대 억제(NMS) 기능을 활용하는 것이었다고 공유했습니다.

이 기능을 통해 후처리가 센서에서 직접 수행될 수 있게 되었고, 대량의 데이터를 호스트 장치로 전송할 필요가 없어졌습니다. IMX500에서 직접 NMS를 실행함으로써 Sony는 Amir가 말한 이른바 "후처리 유리 천장"을 돌파하여 훨씬 더 나은 성능과 지연 시간 감소를 달성했습니다.

그림 5. 후처리 병목 현상 극복. 이미지 출처: SONY Semicon | AITRIOS.

다음으로, 이 혁신이 어떻게 YOLOv8 Nano와 같은 YOLO 모델이 엣지 장치에서 더 효율적으로 실행되도록 도왔는지 살펴보고, 리소스가 제한된 소형 하드웨어에서 실시간 AI 처리를 위한 새로운 기회를 어떻게 창출했는지 알아보겠습니다.

Link to this sectionSony의 IMX500으로 4배 속도 향상을 달성한 YOLOv8 모델#

Amir는 발표를 마무리하며, 엣지에서 NMS를 실행하여 어떻게 YOLOv8 Nano 모델의 성능을 4배 향상시켰는지 시연했습니다. 그는 이를 IMX500 AI 센서와 통합된 Raspberry Pi 5에서 선보였습니다. Amir는 호스트 장치에서 후처리를 수행할 때와 IMX500 칩에서 처리할 때의 성능을 비교했습니다.

결과는 온칩에서 처리를 수행했을 때 초당 프레임 수(FPS)와 전반적인 효율성이 크게 향상되었음을 명확히 보여주었습니다. 이 최적화는 객체 탐지를 더 빠르고 부드럽게 만들었으며, Raspberry Pi와 같이 리소스가 제한된 소형 장치에서도 실시간 AI 처리가 실제로 가능하다는 것을 입증했습니다.

Link to this section핵심 요약#

Sony의 IMX500 센서, AITRIOS 플랫폼 및 Ultralytics YOLO 모델은 엣지 AI 개발을 재편하고 있습니다. 온칩 AI 처리는 데이터 전송과 지연 시간을 줄이는 동시에 개인정보 보호, 보안 및 효율성을 강화합니다. AI 모델만이 아닌 전체 시스템에 집중함으로써 이러한 혁신은 개발자와 AI 전문 지식이 부족한 사용자 모두에게 엣지 AI를 더 쉽게 접근할 수 있도록 만듭니다. 엣지 AI 기술이 계속 발전함에 따라, 이는 다양한 산업과 애플리케이션 전반에서 더 스마트한 장치, 빠른 의사 결정, 강력한 개인정보 보호를 가능하게 할 것입니다.

저희 커뮤니티와 계속 소통하며 AI에 대해 더 배워보세요! 저희 GitHub 저장소를 확인하여 농업 및 제조와 같은 다양한 산업 분야에서 AI를 사용하여 혁신적인 솔루션을 만드는 방법을 알아보세요. 🚀