Sony IMX500 및 AITRIOS로 Edge AI 강화

엣지 AI는 스마트폰, 카메라, 드론과 같은 디바이스에서 인공지능 (AI) 모델을 직접 실행할 수 있도록 합니다. 주요 장점은 클라우드에 의존하지 않고 더 빠른 실시간 의사 결정을 지원한다는 점입니다. 실제로 연구에 따르면 엣지 플랫폼에서 AI를 사용하면 운영 효율성을 최대 40%까지 높일 수 있습니다.

최근 엣지 AI, 특히 컴퓨터 비전의 발전은 YOLO Vision 2024 (YV24)에서 핵심 주제가 되었습니다. YOLO Vision 2024는 AI 애호가와 전문가가 모여 최신 Vision AI를 살펴보는 Ultralytics의 연례 하이브리드 이벤트입니다. 이 이벤트의 주요 순서 중 하나는 Sony의 기조 발표로, Sony는 새로운 최첨단 AI 하드웨어와 소프트웨어 솔루션을 선보였습니다. IMX500 센서와 AITRIOS 플랫폼이 소개되었으며, Sony는 이러한 혁신을 통해 Ultralytics YOLO 모델인 Ultralytics YOLO11과 Ultralytics YOLOv8을 엣지에서 더 쉽고 효율적으로 배포하는 방법을 시연했습니다.

이 세션은 Sony의 이미징 솔루션에 주력하는 비즈니스 개발 매니저 Wei Tang과, 엣지 디바이스에 딥러닝 모델을 배포하는 전문성을 보유한 엣지 딥러닝 제품 매니저 Amir Servi가 진행했습니다.

이 글에서는 YV24에서 진행된 Sony의 발표를 다시 살펴보고, IMX500 센서와 AITRIOS 플랫폼이 YOLO 모델을 최적화하여 더 빠른 실시간 엣지 AI 처리를 구현하는 방법을 알아보겠습니다. 시작하겠습니다!

Sony의 비전: 엣지 디바이스에서 AI의 대중화#

Wei Tang은 Sony가 수년 전 사진 기술을 대중화했던 것처럼 엣지 AI를 누구나 쉽게 이용할 수 있도록 하려는 목표를 설명하며 세션을 시작했습니다. 그녀는 Sony가 엣지 컴퓨팅을 통해 더 많은 사람에게 고급 Vision AI를 제공하는 데 주력하고 있다고 강조했습니다. 이러한 노력의 주요 동력 중 하나는 엣지 AI가 환경에 미칠 수 있는 긍정적인 영향입니다. 대규모 데이터 센터에 의존하는 대신 디바이스에서 직접 데이터를 처리하면 엣지 컴퓨팅이 에너지 사용량과 탄소 배출량을 줄이는 데 도움이 됩니다. 이는 더 나은 성능뿐 아니라 더 지속 가능한 미래를 만드는 기술을 구축하려는 Sony의 노력에 완벽하게 부합하는 더 현명하고 친환경적인 접근 방식입니다.

Wei는 이미징 및 센싱 기술을 전문으로 하는 Sony의 사업 부문인 Sony Semiconductor Solutions가 고급 이미지 센서를 개발하는 방식도 설명했습니다. 이러한 센서는 다양한 디바이스에 사용되며, 빛을 전자 신호로 변환하여 이미지를 캡처합니다. 매년 12억 개가 넘는 센서가 출하되며, 전 세계 휴대전화의 거의 절반에 탑재되어 Sony는 이미징 업계의 주요 기업으로 자리 잡고 있습니다.

그림 1. Sony 이미지 센서 예시

이러한 전문성을 바탕으로 Sony는 이제 센서를 단순한 이미지 캡처 디바이스에서 실시간으로 데이터를 처리할 수 있는 스마트 도구로 발전시키고 있으며, 디바이스에서 직접 AI 기반 인사이트를 생성할 수 있도록 하고 있습니다. 이러한 전환을 지원하기 위해 Sony가 사용하는 하드웨어 및 소프트웨어 솔루션을 살펴보기 전에, 이러한 혁신이 해결하고자 하는 엣지 AI의 과제를 먼저 알아보겠습니다.

엣지 디바이스에서의 AI 이미지 처리와 관련된 과제#

엣지 AI 솔루션을 개발할 때는 몇 가지 주요 과제가 발생하며, 특히 카메라와 센서 같은 디바이스를 사용할 때 더욱 그렇습니다. 이러한 디바이스 중 상당수는 전력과 처리 성능이 제한적이므로 고급 AI 모델을 효율적으로 실행하기가 어렵습니다.

다음은 그 밖의 주요 제한 사항입니다.

• 소프트웨어 복잡성: 서로 다른 하드웨어 구성을 가진 다양한 엣지 디바이스에서 작동하도록 AI 모델을 조정하려면 복잡한 작업과 수정 및 최적화가 필요할 수 있습니다.
• 후처리 병목 현상: 후처리를 위해 디바이스에서 호스트로 대량의 데이터를 전송할 때 지연이 발생하는 경우가 많습니다. 이 과정에는 실제 AI 모델 추론보다 더 많은 시간이 소요되는 경우가 많습니다.
• 데이터 폭증: 많은 IoT 디바이스가 지속적으로 데이터를 생성하면서 로컬에서 처리해야 하는 데이터의 양이 감당하기 어려운 수준으로 늘어나 엣지 디바이스에 더 큰 부담을 줄 수 있습니다.

Sony IMX500 지능형 비전 센터 알아보기#

Sony IMX500 지능형 비전 센서는 엣지 AI 처리 분야의 판도를 바꾸는 하드웨어입니다. 이 센서는 칩 내 AI 기능을 갖춘 세계 최초의 지능형 비전 센서입니다. 또한 데이터 처리 병목 현상, 개인정보 보호 문제, 성능 제한 등 엣지 AI의 여러 과제를 해결하는 데 도움이 됩니다.

다른 센서가 단순히 이미지와 프레임을 전달하는 데 그치는 반면, IMX500은 전체 상황을 파악합니다. 센서에서 직접 데이터를 처리하므로 디바이스가 실시간으로 인사이트를 생성할 수 있습니다. 세션에서 Wei Tang은 다음과 같이 말했습니다. "고급 이미지 센서 기술을 활용하여 일상생활을 향상할 수 있는 새로운 세대의 애플리케이션을 지원하고자 합니다." IMX500은 이러한 목표를 실현하도록 설계되었으며, 처리를 위해 데이터를 클라우드로 전송할 필요 없이 센서에서 직접 데이터를 처리하는 디바이스의 방식을 혁신합니다.

주요 기능은 다음과 같습니다.

• 메타데이터 출력: 전체 이미지를 전송하는 대신 메타데이터를 출력하여 데이터 크기를 크게 줄이고 대역폭 사용량과 비용을 절감합니다.
• 강화된 개인정보 보호: 디바이스에서 데이터를 처리함으로써 IMX500은 개인정보 보호를 강화합니다. 특히 사람과 관련된 컴퓨터 비전 작업인 사람 수 세기처럼 민감한 정보가 포함된 상황에서 효과적입니다.
• 실시간 처리: 센서가 데이터를 빠르게 처리할 수 있으므로 신속한 실시간 의사 결정을 지원하며, 자율 시스템과 같은 엣지 AI 애플리케이션을 구현할 수 있습니다.

IMX500은 단순한 카메라 센서가 아니라 디바이스가 주변 세계를 인식하고 상호 작용하는 방식을 바꾸는 강력한 센싱 도구입니다. Sony는 AI를 센서에 직접 내장하여 자동차, 헬스케어, 스마트 시티와 같은 산업에서 엣지 AI를 더 쉽게 활용할 수 있도록 하고 있습니다. 다음 섹션에서는 IMX500이 Ultralytics YOLO 모델과 함께 작동하여 엣지 디바이스에서 객체 감지와 데이터 처리를 개선하는 방법을 자세히 살펴보겠습니다.

그림 2. YOLO Vision 2024 무대에서 Sony IMX500 지능형 비전 센서를 소개하는 Wei Tang

Sony의 AITRIOS 플랫폼: 엣지 AI 간소화#

IMX500 센서를 소개한 후 Wei Tang은 하드웨어가 중요하지만 엣지 AI 배포와 관련된 모든 과제를 해결하기에는 충분하지 않다고 설명했습니다. 카메라와 센서 같은 디바이스에 AI를 통합하려면 고급 하드웨어뿐 아니라 이를 관리할 수 있는 스마트 소프트웨어가 필요하다고 말했습니다. 바로 이러한 역할을 하는 것이 Sony의 AITRIOS 플랫폼으로, 엣지 디바이스에 AI를 더 간단하고 효율적으로 배포할 수 있도록 설계된 안정적인 소프트웨어 솔루션을 제공합니다.

AITRIOS는 복잡한 AI 모델과 엣지 디바이스의 제약 사이를 연결하는 다리 역할을 합니다. 개발자에게 사전 학습된 AI 모델을 신속하게 배포할 수 있는 다양한 도구를 제공합니다. 더 중요한 점은 지속적인 재학습을 지원하여 AI 모델이 실제 환경의 변화에 맞게 적응할 수 있도록 한다는 것입니다.

Wei는 또한 AITRIOS가 AI 전문 지식이 부족한 사용자도 쉽게 사용할 수 있도록 프로세스를 간소화하며, 특정 엣지 AI 사용 사례에 맞게 AI 모델을 유연하게 사용자 지정할 수 있다고 강조했습니다. 또한 메모리 제약과 성능 저하 같은 일반적인 문제도 해결하므로 정확도나 속도를 희생하지 않고 더 작은 디바이스에 AI를 통합하기가 쉬워집니다.

그림 3. 엣지 AI 사용 사례 예시. 이미지 출처: SONY Semicon | AITRIOS

IMX500에서 YOLO 모델 최적화하기#

발표의 두 번째 부분에서는 Amir가 마이크를 넘겨받아 Sony가 IMX500 센서에서 YOLO 모델을 최적화한 기술적 방법을 자세히 설명했습니다.

Amir는 다음과 같이 말하며 시작했습니다. “YOLO 모델은 엣지 환경을 지원하며 최적화도 상당히 쉽습니다. Glenn과 팀 덕분입니다. 제가 이를 증명해 보이겠습니다. 걱정하지 마세요.” 이어서 Amir는 일반적으로 AI 모델 자체의 최적화에 많은 초점을 맞추지만, 이러한 접근 방식에서는 중요한 문제인 후처리 병목 현상을 간과하는 경우가 많다고 설명했습니다.

Amir는 많은 경우 AI 모델이 작업을 완료한 후 호스트 디바이스에서 데이터를 전송하고 후처리하는 과정에서 상당한 지연이 발생할 수 있다고 지적했습니다. 디바이스와 호스트 간에 데이터가 반복적으로 전송되면 지연 시간이 발생하며, 이는 최상의 성능을 달성하는 데 큰 장애물이 될 수 있습니다.

그림 4. YOLO Vision 2024 무대에서 후처리 병목 현상을 설명하는 Amir Servi

이를 해결하기 위해 Amir는 AI 모델에만 집중하기보다 전체 엔드투엔드 시스템을 살펴보는 것이 중요하다고 강조했습니다. IMX500 센서를 사용하면서 후처리가 전체 속도를 늦추는 주요 병목이라는 사실을 발견했습니다. 그는 칩 내 비최대 억제 (NMS)를 구현한 것이 진정한 돌파구였다고 설명했습니다.

이를 통해 센서에서 직접 후처리를 수행할 수 있었고, 대량의 데이터를 호스트 디바이스로 전송할 필요가 없어졌습니다. Sony는 IMX500에서 직접 NMS를 실행함으로써 Amir가 “후처리 유리 천장”이라고 표현한 한계를突破하고 훨씬 뛰어난 성능과 지연 시간 감소를 달성했습니다.

그림 5. 후처리 병목 현상 극복. 이미지 출처: SONY Semicon | AITRIOS

다음으로 이 혁신이 YOLO 모델, 특히 Ultralytics YOLOv8 Nano가 엣지 디바이스에서 더 효율적으로 실행되도록 지원한 방법을 살펴보겠습니다. 이를 통해 리소스가 제한된 소형 하드웨어에서 실시간 AI 처리를 위한 새로운 기회가 열렸습니다.

Sony의 IMX500으로 Ultralytics YOLOv8 모델의 속도 4배 향상#

Amir는 발표를 인상적으로 마무리하며 엣지에서 NMS를 실행하여 Ultralytics YOLOv8 Nano 모델의 성능을 4배 향상한 방법을 시연했습니다. IMX500 AI 센서와 통합된 Raspberry Pi 5에서 이를 선보였습니다. Amir는 호스트 디바이스에서 후처리를 수행한 경우와 IMX500 칩에서 수행한 경우의 성능을 비교했습니다.

처리를 칩에서 수행했을 때 초당 프레임 수 (FPS)와 전반적인 효율성이 크게 향상된 결과가 명확하게 나타났습니다. 이러한 최적화는 객체 감지를 더 빠르고 원활하게 만들었으며, Raspberry Pi와 같이 리소스가 제한된 소형 디바이스에서 실시간 AI 처리를 실제로 구현할 수 있다는 점도 보여주었습니다.

핵심 요점#

Sony의 IMX500 센서, AITRIOS 플랫폼, Ultralytics YOLO 모델은 엣지 AI 개발을 새롭게 변화시키고 있습니다. 칩 내 AI 처리는 데이터 전송과 지연 시간을 줄이는 동시에 개인정보 보호, 보안, 효율성을 향상합니다. AI 모델 자체가 아닌 전체 시스템에 초점을 맞춤으로써 이러한 혁신은 개발자와 AI 전문 지식이 부족한 사용자 모두가 엣지 AI를 더 쉽게 활용할 수 있도록 합니다. 엣지 AI 기술이 계속 발전함에 따라 다양한 산업과 애플리케이션에서 더 스마트한 디바이스, 더 빠른 의사 결정, 더 강력한 개인정보 보호를 지원할 가능성이 높습니다.

AI에 대해 계속 알아가려면 커뮤니티와 소통해 보세요! GitHub 저장소를 확인하여 농업과 제조 같은 다양한 산업에서 AI를 활용해 혁신적인 솔루션을 만드는 방법을 알아보세요. 🚀