Sony IMX500 및 AITRIOS로 엣지 AI 강화

엣지 AI를 사용하면 스마트폰, 카메라, 드론과 같은 기기에서 인공지능(AI) 모델을 직접 실행할 수 있습니다. 주요 장점은 클라우드에 의존하지 않고 더 빠르게 실시간 의사결정을 내릴 수 있다는 것입니다. 실제로 엣지 플랫폼에서 AI 사용 시 운영 효율성이 최대 40% 향상될 수 있다는 연구 결과가 있습니다.

최근 엣지 AI, 특히 컴퓨터 비전의 발전으로 이 기술은 최신 비전 AI를 탐구하기 위해 AI 애호가와 전문가가 한자리에 모이는 Ultralytics의 연례 하이브리드 행사인 YOLO Vision 2024(YV24)의 주요 주제가 되었습니다. 행사의 주요 하이라이트 중 하나는 Sony의 기조연설로, 새로운 AI 하드웨어와 소프트웨어 솔루션을 소개했습니다. IMX500 센서와 AITRIOS 플랫폼을 선보였으며, Ultralytics YOLO 모델인 Ultralytics YOLO11과 Ultralytics YOLOv8을 엣지에 더 쉽고 효율적으로 배포하는 방법을 시연했습니다.

세션은 Sony의 이미징 솔루션에 집중하는 사업 개발 매니저 Wei Tang과 엣지 디바이스에 딥러닝 모델을 배포하는 전문성을 갖춘 엣지 딥러닝 제품 매니저 Amir Servi가 진행했습니다.

이 문서에서는 YV24에서 진행된 Sony의 발표를 다시 살펴보고, IMX500 센서와 AITRIOS 플랫폼이 YOLO 모델을 최적화하여 엣지에서 더 빠르게 실시간 AI 처리를 수행하는 방식을 알아봅니다.

Sony의 비전: 엣지 기기에서 AI 대중화#

Wei Tang은 Sony가 수년 전 사진 촬영 기술을 대중화한 것처럼 엣지 AI도 쉽게 이용할 수 있도록 하려는 목표를 설명하며 세션을 시작했습니다. Sony가 엣지 컴퓨팅을 통해 더 많은 사람에게 첨단 비전 AI를 제공하는 데 주력하고 있다고 강조했습니다. 이를 추진하는 요인 중 하나는 엣지 AI가 환경에 미칠 수 있는 긍정적인 영향입니다. 대규모 데이터센터에 의존하는 대신 기기에서 직접 데이터를 처리하면 엣지 컴퓨팅을 통해 에너지 사용을 줄이고 탄소 배출을 감소시킬 수 있습니다. 이는 기술을 개선할 뿐 아니라 더 지속 가능한 미래를 만드는 데 기여하려는 Sony의 목표에 부합하는 더 현명하고 친환경적인 접근 방식입니다.

Wei는 이어서 이미징 및 센싱 기술을 전문으로 하는 Sony 사업부인 Sony Semiconductor Solutions가 첨단 이미지 센서를 개발하는 방식에 대해 설명했습니다. 이 센서는 다양한 기기에 사용되며 빛을 전자 신호로 변환해 이미지를 포착합니다. 매년 12억 개가 넘는 센서를 출하하는 Sony의 센서는 전 세계 휴대전화의 거의 절반에 탑재되어 이미징 산업의 주요 기업으로 자리 잡았습니다.

그림 1. Sony 이미지 센서의 예.

이러한 전문성을 바탕으로 Sony는 센서를 이미지 캡처 장치에서 실시간으로 데이터를 처리하는 스마트 도구로 발전시키고 있으며, 이를 통해 기기에서 직접 AI 기반 인사이트를 얻을 수 있습니다. 이러한 전환을 지원하기 위해 Sony가 사용하는 하드웨어 및 소프트웨어 솔루션을 논하기 전에, 이러한 혁신이 해결하려는 엣지 AI의 과제를 살펴보겠습니다.

엣지 기기의 AI 이미지 처리 관련 과제#

엣지 AI 솔루션 개발에는 몇 가지 주요 과제가 따르며, 특히 카메라와 센서 같은 기기를 다룰 때 그렇습니다. 많은 기기는 전력과 처리 능력이 제한되어 있어 첨단 AI 모델을 효율적으로 실행하기가 어렵습니다.

그 밖의 주요 제약 사항은 다음과 같습니다.

• 소프트웨어 복잡성: 하드웨어 구성이 서로 다른 다양한 엣지 디바이스에서 작동하도록 AI 모델을 조정하는 일은 복잡할 수 있으며, 조정과 최적화가 필요할 수 있습니다.
• 후처리 병목 현상: 후처리를 위해 기기에서 호스트로 대량의 데이터를 전송할 때 지연이 발생하는 경우가 많습니다. 이 과정에는 실제 AI 모델 추론보다 시간이 더 오래 걸리기도 합니다.
• 데이터 폭증: 수많은 IoT 기기가 지속적으로 데이터를 생성함에 따라 로컬에서 처리해야 하는 데이터의 양이 감당하기 어려울 정도로 늘어나 엣지 디바이스에 추가 부담을 줄 수 있습니다.

Sony IMX500 지능형 비전 센서 알아보기#

Sony IMX500 지능형 비전 센서는 엣지 AI 처리의 핵심 하드웨어입니다. Sony는 이 제품을 온칩 AI 기능을 갖춘 세계 최초의 지능형 비전 센서라고 소개합니다. 이 센서는 데이터 처리 병목 현상, 개인정보 보호 문제, 성능 한계 등 엣지 AI의 여러 과제를 해결하는 데 도움이 됩니다.

다른 센서가 이미지와 프레임을 전달하는 데 그치는 반면, IMX500은 전체 상황을 파악합니다. 센서에서 직접 데이터를 처리하므로 기기에서 실시간으로 인사이트를 생성할 수 있습니다. 세션에서 Wei Tang은 "첨단 이미지 센서 기술을 활용해 일상생활을 개선할 수 있는 차세대 애플리케이션을 지원하고자 합니다."라고 말했습니다. IMX500은 이 목표를 위해 설계되었으며, 처리를 위해 데이터를 클라우드로 보낼 필요 없이 센서에서 직접 처리하도록 기기의 데이터 처리 방식을 바꿉니다.

주요 기능은 다음과 같습니다.

• 메타데이터 출력: 전체 이미지를 전송하는 대신 메타데이터를 출력하여 데이터 크기를 크게 줄이고 대역폭 사용량과 비용을 절감합니다.
• 개인정보 보호 강화: IMX500은 기기에서 데이터를 처리하여 개인정보 보호를 강화합니다. 특히 사람과 관련된 사람 수 세기와 같은 컴퓨터 비전 작업에서 민감한 정보를 다룰 때 유용합니다.
• 실시간 처리: 센서가 데이터를 신속하게 처리하므로 빠른 실시간 의사결정을 지원하며, 이를 통해 자율 시스템과 같은 엣지 AI 애플리케이션을 구현할 수 있습니다.

IMX500은 단순한 카메라 센서가 아니라 기기가 주변 세계를 인식하고 상호작용하는 방식을 바꾸는 강력한 센싱 도구입니다. Sony는 AI를 센서에 직접 내장하여 자동차, 헬스케어, 스마트 시티와 같은 산업에서 엣지 AI를 더 쉽게 활용할 수 있도록 합니다. 다음 섹션에서는 IMX500이 Ultralytics YOLO 모델과 함께 작동해 엣지 디바이스의 객체 감지와 데이터 처리를 개선하는 방식을 자세히 살펴보겠습니다.

그림 2. YOLO Vision 2024 무대에서 Sony IMX500 지능형 비전 센서를 소개하는 Wei Tang.

Sony의 AITRIOS 플랫폼: 엣지 AI 간소화#

IMX500 센서를 소개한 후 Wei Tang은 하드웨어가 중요하지만 엣지 AI 배포의 모든 과제를 해결하기에는 충분하지 않다고 설명했습니다. 카메라와 센서 같은 기기에 AI를 통합하려면 첨단 하드웨어뿐 아니라 이를 관리할 스마트 소프트웨어도 필요하다고 말했습니다. Sony의 AITRIOS 플랫폼은 이러한 요구에 대응하여 엣지 디바이스의 AI 배포를 더 간단하고 효율적으로 만드는 안정적인 소프트웨어 솔루션을 제공합니다.

AITRIOS는 복잡한 AI 모델과 엣지 디바이스의 제약 사이를 연결합니다. 개발자에게 사전 학습된 AI 모델을 빠르게 배포할 수 있는 다양한 도구를 제공합니다. 더욱 중요한 점은 지속적인 재학습을 지원하여 AI 모델이 실제 환경의 변화에 계속 적응하도록 한다는 것입니다.

Wei는 AITRIOS가 깊은 AI 전문 지식이 없는 사용자도 프로세스를 간소화하고 특정 엣지 AI 사용 사례에 맞게 AI 모델을 유연하게 커스터마이즈할 수 있도록 한다고 강조했습니다. 또한 메모리 제약과 성능 저하 같은 일반적인 문제를 해결하여 정확도나 속도를 희생하지 않고 소형 기기에 AI를 더 쉽게 통합할 수 있습니다.

그림 3. 엣지 AI 사용 사례 예시. 이미지 출처: SONY Semicon | AITRIOS.

IMX500에서 YOLO 모델 최적화하기#

발표의 두 번째 부분에서는 Amir가 마이크를 이어받아 Sony가 IMX500 센서에서 YOLO 모델을 최적화한 기술적 방법을 설명했습니다.

Amir는 이렇게 말하며 이야기를 시작했습니다. “YOLO 모델은 엣지 환경에 적합하며, Glenn과 팀 덕분에 최적화도 상당히 쉽습니다. 걱정하지 마세요. 제가 직접 납득시켜 드리겠습니다.” 이어서 Amir는 일반적으로 AI 모델 자체의 최적화에 많은 관심이 집중되지만, 이러한 접근 방식은 후처리 병목 현상이라는 중요한 문제를 간과하는 경우가 많다고 설명했습니다.

Amir는 AI 모델이 작업을 완료한 뒤 호스트 기기로 데이터를 전송하고 후처리를 수행하는 과정에서 상당한 지연이 발생할 수 있다고 지적했습니다. 기기와 호스트 간에 데이터를 주고받으면 지연 시간이 발생하며, 이는 최고의 성능을 달성하는 데 큰 장애물이 될 수 있습니다.

그림 4. YOLO Vision 2024 무대에서 후처리 병목 현상을 설명하는 Amir Servi.

이 문제를 해결하기 위해 Amir는 AI 모델에만 집중하는 대신 엔드투엔드 시스템 전체를 살펴보는 것이 중요하다고 강조했습니다. IMX500 센서에서 후처리가 전체 속도를 늦추는 주된 병목이라는 사실을 발견했습니다. 그는 칩 내 비최대 억제(NMS)를 구현한 것이 진정한 돌파구였다고 설명했습니다.

이 기술을 통해 센서에서 직접 후처리를 수행하여 호스트 기기로 대량의 데이터를 전송할 필요가 없어졌습니다. Sony는 IMX500에서 직접 NMS를 실행함으로써 Amir가 “후처리의 유리 천장”이라고 부른 한계를 넘어 훨씬 뛰어난 성능과 지연 시간 감소를 달성했습니다.

그림 5. 후처리 병목 현상 극복. 이미지 출처: SONY Semicon | AITRIOS

다음으로 이 혁신이 YOLO 모델, 특히 Ultralytics YOLOv8 Nano의 엣지 디바이스 실행 효율을 어떻게 높여 리소스가 제한된 소형 하드웨어에서 실시간 AI 처리를 위한 새로운 가능성을 열었는지 살펴보겠습니다.

Ultralytics YOLOv8 모델, Sony IMX500으로 속도 4배 향상#

발표를 성공적으로 마무리하며 Amir는 엣지에서 NMS를 실행해 Ultralytics YOLOv8 Nano 모델의 성능을 네 배 향상한 방법을 시연했습니다. IMX500 AI 센서와 통합된 Raspberry Pi 5에서 이를 보여 주었습니다. 또한 호스트 기기와 IMX500 칩에서 각각 후처리를 수행했을 때의 성능을 비교했습니다.

처리를 칩에서 수행했을 때 초당 프레임 수(FPS)와 전반적인 효율성이 크게 개선된 결과가 명확하게 나타났습니다. 이 최적화는 객체 감지를 더 빠르고 원활하게 만들었으며 Raspberry Pi와 같은 리소스가 제한된 소형 기기에서도 실시간 AI 처리가 실용적임을 보여 주었습니다.

핵심 요점#

Sony의 IMX500 센서, AITRIOS 플랫폼, Ultralytics YOLO 모델은 Ultralytics와 Sony의 파트너십을 통해 엣지 AI 개발 방식을 바꾸고 있습니다. 온칩 AI 처리는 데이터 전송과 지연 시간을 줄이는 동시에 개인정보 보호, 보안, 효율성을 높입니다. 이러한 혁신은 AI 모델만이 아니라 전체 시스템에 초점을 맞춰 AI 전문 지식이 부족한 개발자와 사용자도 엣지 AI를 더 쉽게 활용할 수 있게 합니다. 엣지 AI 기술이 계속 발전함에 따라 다양한 산업과 애플리케이션에서 더 스마트한 기기, 더 빠른 의사결정, 더 강력한 개인정보 보호를 지원할 것으로 예상됩니다.

AI를 계속 배우려면 커뮤니티와 소통해 보세요! GitHub 저장소를 방문해 농업 및 제조와 같은 다양한 산업에서 AI로 혁신적인 솔루션을 만드는 방법을 알아보세요.