Sony IMX500 및 AITRIOS로 Edge AI 강화

Edge AI는 스마트폰, 카메라, 드론과 같은 기기에서 인공지능(AI) 모델이 직접 작동할 수 있도록 지원합니다. 핵심 장점은 클라우드에 의존하지 않고도 더 빠르고 실시간으로 의사결정을 내릴 수 있다는 것입니다. 실제로 연구에 따르면 에지 플랫폼에서 AI를 사용하면 운영 효율성을 최대 40%까지 높일 수 있습니다.

에지 AI, 특히 컴퓨터 비전 분야의 최근 발전으로 인해 이 기술은 YOLO Vision 2024 (YV24)의 핵심 주제가 되었습니다. 이 행사는 Ultralytics가 주최하는 연례 하이브리드 이벤트로, AI 애호가와 전문가들이 모여 비전 AI의 최신 동향을 탐구합니다. 이번 행사의 하이라이트 중 하나는 소니의 기조연설이었으며, 이 자리에서 새롭고 혁신적인 AI 하드웨어 및 소프트웨어 솔루션이 소개되었습니다. IMX500 센서와 AITRIOS 플랫폼이 시연되었으며, 소니는 이러한 혁신을 통해 Ultralytics YOLO11 및 Ultralytics YOLOv8 같은 Ultralytics YOLO 모델을 에지에 더욱 쉽고 효율적으로 배포할 수 있음을 보여주었습니다.

이 세션은 소니의 이미징 솔루션을 담당하는 비즈니스 개발 매니저 웨이 탕(Wei Tang)과 에지 기기에 딥러닝 모델을 배포하는 전문성을 갖춘 에지 딥러닝 제품 매니저 아미르 서비(Amir Servi)가 이끌었습니다.

본 기사에서는 YV24에서 진행된 Sony의 발표 내용을 다시 살펴보고, IMX500 센서와 AITRIOS 플랫폼이 어떻게 YOLO 모델 사용을 최적화하여 더 빠르고 실시간에 가까운 엣지 AI 처리를 가능하게 하는지 탐구하겠습니다. 시작해 보겠습니다!

Sony의 비전: 엣지 장치에서의 AI 대중화#

웨이 탕은 수년 전 사진 기술을 대중화했던 것처럼 에지 AI를 누구나 쉽게 접근할 수 있게 만들겠다는 소니의 목표를 언급하며 세션을 시작했습니다. 그녀는 소니가 에지 컴퓨팅을 통해 고급 비전 AI를 더 많은 사람들에게 제공하는 데 집중하고 있음을 강조했습니다. 이를 이끄는 주요 요인 중 하나는 에지 AI가 환경에 미치는 긍정적 영향입니다. 대규모 데이터 센터에 의존하는 대신 기기에서 직접 데이터를 처리함으로써, 에지 컴퓨팅은 에너지 사용량을 줄이고 탄소 배출량을 감축하는 데 기여합니다. 이는 더 나은 성능을 제공할 뿐만 아니라 보다 지속 가능한 미래를 만드는 데 기여하는 기술을 구축하려는 소니의 약속에 완벽히 부합하는 스마트하고 친환경적인 접근 방식입니다.

웨이는 이미징 및 센싱 기술 전문 소니 자회사인 소니 반도체 솔루션즈(Sony Semiconductor Solutions)가 고급 이미지 센서를 개발하는 방식을 계속해서 설명했습니다. 이 센서들은 다양한 기기에 사용되어 빛을 전기 신호로 변환하여 이미지를 캡처합니다. 매년 12억 개 이상의 센서가 출하되며 전 세계 휴대폰의 거의 절반에 탑재되어 있어, 소니는 이미징 산업의 주요 주역으로 자리 잡고 있습니다.

그림 1. 소니의 이미지 센서 예시.

이러한 전문성을 바탕으로 소니는 이미지 캡처 장치였던 센서를 실시간으로 데이터를 처리하고 기기에서 직접 AI 기반 인사이트를 제공할 수 있는 스마트 도구로 한 단계 더 발전시키고 있습니다. 소니가 이러한 변화를 지원하기 위해 사용하는 하드웨어 및 소프트웨어 솔루션을 논의하기에 앞서, 이러한 혁신이 해결하고자 하는 에지 AI의 과제들을 살펴보겠습니다.

엣지 장치에서의 AI 이미지 처리 관련 과제#

에지 AI 솔루션 개발에는 특히 카메라 및 센서와 같은 기기로 작업할 때 몇 가지 주요 과제가 따릅니다. 이러한 기기 중 상당수는 전력과 처리 능력이 제한되어 있어 고급 AI 모델을 효율적으로 실행하는 데 어려움이 있습니다.

그 외의 주요 제한 사항은 다음과 같습니다.

• 소프트웨어 복잡성: 하드웨어 구성이 서로 다른 다양한 에지 기기에서 작동하도록 AI 모델을 조정하는 작업은 복잡할 수 있으며 조정 및 최적화 작업이 필요합니다.
• 후처리 병목 현상: 대량의 데이터를 기기에서 호스트로 전송하여 후처리할 때 종종 지연이 발생합니다. 이는 실제 AI 모델 추론보다 더 많은 시간을 소모하는 경우가 많습니다.
• 데이터 폭증: 많은 IoT 기기가 지속적으로 데이터를 생성함에 따라 로컬에서 처리해야 하는 데이터의 양이 감당하기 버거울 정도로 늘어나 에지 기기에 추가적인 부담을 줍니다.

Sony IMX500 지능형 비전 센서 알아보기#

소니 IMX500 인텔리전트 비전 센서는 에지 AI 처리에 있어 판도를 바꾸는 하드웨어입니다. 이 제품은 온칩 AI 기능을 갖춘 세계 최초의 인텔리전트 비전 센서입니다. 이 센서는 데이터 처리 병목 현상, 개인정보 보호 문제, 성능 한계를 포함한 에지 AI의 많은 과제를 극복하는 데 도움을 줍니다.

다른 센서들이 단순히 이미지와 프레임을 전달하는 것에 그치는 반면, IMX500은 완전한 정보를 전달합니다. 센서 자체에서 데이터를 직접 처리하므로 기기가 실시간으로 인사이트를 생성할 수 있습니다. 세션 중 웨이 탕은 "당사는 첨단 이미지 센서 기술을 활용하여 일상생활을 향상할 수 있는 차세대 애플리케이션에 역량을 부여하고자 합니다."라고 밝혔습니다. IMX500은 클라우드로 데이터를 전송해 처리할 필요 없이 센서에서 직접 데이터를 처리하는 방식을 혁신하여 이 목표를 달성하도록 설계되었습니다.

주요 특징은 다음과 같습니다.

• 메타데이터 출력: 전체 이미지를 전송하는 대신 메타데이터를 출력하여 데이터 크기를 크게 줄임으로써 대역폭 사용량과 비용을 절감합니다.
• Enhanced privacy: By processing data on the device, the IMX500 improves privacy, especially in situations where sensitive information is involved, such as human-related computer vision tasks like person counting.
• 실시간 처리: 센서의 빠른 데이터 처리 능력은 자율 시스템 같은 에지 AI 애플리케이션을 가능하게 하는 빠르고 실시간 의사결정을 지원합니다.

IMX500은 단순한 카메라 센서가 아니라, 기기가 주변 세상을 인식하고 상호 작용하는 방식을 바꾸는 강력한 센싱 도구입니다. 소니는 센서에 AI를 직접 내장함으로써 자동차, 의료, 스마트 시티 등의 산업에서 에지 AI를 더욱 쉽게 접근할 수 있도록 만들고 있습니다. 이어지는 섹션에서는 IMX500이 Ultralytics YOLO 모델과 협력하여 에지 기기의 객체 감지와 데이터 처리를 개선하는 방법에 대해 더 자세히 알아보겠습니다.

그림 2. YOLO Vision 2024 무대에서 Sony IMX500 지능형 비전 센서를 소개하는 Wei Tang.

Sony의 AITRIOS 플랫폼: 엣지 AI 간소화#

IMX500 센서를 소개한 후 웨이 탕은 하드웨어가 매우 중요하지만 에지 AI 배포와 관련된 과제의 범위를 모두 해결하기에는 그것만으로 충분하지 않다고 언급했습니다. 그녀는 카메라나 센서 같은 기기에 AI를 통합하려면 고급 하드웨어뿐만 아니라 이를 관리할 스마트 소프트웨어가 필요하다고 설명했습니다. 바로 이 지점에서 소니의 AITRIOS 플랫폼이 등장하며, 에지 기기에 AI를 더욱 간단하고 효율적으로 배포할 수 있도록 설계된 신뢰할 수 있는 소프트웨어 솔루션을 제공합니다.

AITRIOS는 복잡한 AI 모델과 에지 기기의 제약 사항 사이의 가교 역할을 합니다. 이 플랫폼은 사전 학습된 AI 모델을 빠르게 배포할 수 있는 다양한 도구를 개발자에게 제공합니다. 그러나 더 중요한 점은 지속적인 재학습을 지원하여 AI 모델이 현실 세계의 변화에 유연하게 대응할 수 있도록 돕는다는 것입니다.

또한 웨이는 AITRIOS가 깊은 AI 전문 지식이 없는 사람들도 쉽게 프로세스를 진행할 수 있도록 간소화하며, 특정 에지 AI 사용 사례에 맞게 AI 모델을 맞춤화할 수 있는 유연성을 제공한다고 강조했습니다. 아울러 메모리 제약 및 성능 저하와 같은 일반적인 과제를 해결하여 정확도나 속도를 희생하지 않고도 소형 기기에 AI를 쉽게 통합할 수 있도록 돕습니다.

그림 3. 엣지 AI 사용 사례 예시. 이미지 출처: SONY Semicon | AITRIOS.

IMX500에서의 YOLO 모델 최적화#

발표의 두 번째 파트에서는 마이크가 아미르에게 넘어가, IMX500 센서에서 소니가 YOLO 모델을 최적화한 기술적 측면에 대해 깊이 다루었습니다.

아미르는 “글렌과 팀 덕분에 YOLO 모델은 에지 친화적이며 비교적 쉽게 최적화할 수 있습니다. 여러분도 곧 공감하게 되실 테니 걱정하지 마세요.”라는 말로 발표를 시작했습니다. 이어 그는 AI 모델 자체를 최적화하는 데 많은 초점이 맞춰지지만 이 접근 방식은 종종 후처리 병목 현상이라는 중요한 문제를 간과한다고 설명했습니다.

아미르는 많은 경우에 AI 모델이 작업을 완료한 후 호스트 기기에서 데이터를 전송하고 후처리를 처리하는 과정에서 상당한 지연이 발생할 수 있다고 지적했습니다. 기기와 호스트 간의 이러한 왕복 데이터 전송은 지연 시간을 유발하며, 이는 최상의 성능을 달성하는 데 큰 걸림돌이 될 수 있습니다.

그림 4. YOLO Vision 2024 무대에서 후처리 병목 현상에 대해 설명하는 Amir Servi.

이를 해결하기 위해 아미르는 AI 모델에만 집중하는 대신 전체 엔드투엔드 시스템을 살펴보는 것이 중요하다고 강조했습니다. IMX500 센서를 통해 모든 것을 느리게 만드는 주원인이 후처리 병목 현상임을 발견했다고 그는 설명했습니다. 그는 온칩 비최대 suppression(NMS)를 구현한 것이 진정한 혁신이었다고 공유했습니다.

이 기능을 통해 후처리가 센서에서 직접 수행될 수 있게 되었고, 대량의 데이터를 호스트 장치로 전송할 필요가 없어졌습니다. IMX500에서 직접 NMS를 실행함으로써 Sony는 Amir가 말한 이른바 "후처리 유리 천장"을 돌파하여 훨씬 더 나은 성능과 지연 시간 감소를 달성했습니다.

그림 5. 후처리 병목 현상 극복. 이미지 출처: SONY Semicon | AITRIOS.

다음으로, 이 혁신이 어떻게 YOLO 모델, 특히 Ultralytics YOLOv8 Nano가 엣지 디바이스에서 더 효율적으로 실행되도록 도왔으며 더 작고 리소스가 제한된 하드웨어에서 실시간 AI 처리를 위한 새로운 기회를 창출했는지 살펴보겠습니다.

Ultralytics YOLOv8 모델은 Sony의 IMX500을 통해 4배의 속도 향상을 달성합니다.#

아미르는 발표를 성공적으로 마무리하며 엣지에서 NMS를 실행하여 Ultralytics YOLOv8 Nano 모델의 성능을 4배 향상할 수 있었던 방법을 시연했습니다. 그는 IMX500 AI 센서가 통합된 Raspberry Pi 5에서 이를 선보였습니다. 아미르는 후처리가 호스트 디바이스에서 처리될 때와 IMX500 칩에서 처리될 때의 성능을 비교했습니다.

결과에 따르면 칩에서 처리가 수행되었을 때 초당 프레임 수(FPS)와 전반적인 효율성이 크게 향상되었습니다. 이러한 최적화는 객체 감지를 더 빠르고 부드럽게 만들었으며, Raspberry Pi와 같이 리소스가 제한된 소형 기기에서도 실시간 AI 처리가 실현 가능함을 입증했습니다.

핵심 요약#

Sony의 IMX500 센서, AITRIOS 플랫폼 및 Ultralytics YOLO 모델은 엣지 AI 개발을 재편하고 있습니다. 온칩 AI 처리는 데이터 전송과 지연 시간을 줄이는 동시에 개인정보 보호, 보안 및 효율성을 강화합니다. AI 모델만이 아닌 전체 시스템에 집중함으로써 이러한 혁신은 개발자와 AI 전문 지식이 부족한 사용자 모두에게 엣지 AI를 더 쉽게 접근할 수 있도록 만듭니다. 엣지 AI 기술이 계속 발전함에 따라, 이는 다양한 산업과 애플리케이션 전반에서 더 스마트한 장치, 빠른 의사 결정, 강력한 개인정보 보호를 가능하게 할 것입니다.

AI에 대해 계속 학습하려면 당사의 community와 연결 상태를 유지하세요! GitHub repository를 확인하여 agriculture 및 manufacturing과 같은 다양한 산업에서 혁신적인 솔루션을 만들기 위해 AI를 어떻게 활용할 수 있는지 알아보세요. 🚀