Edge AI 디바이스에 컴퓨터 비전 애플리케이션 배포하기

최근 컴퓨터 비전과 인공지능(AI)의 발전에 힘입어, 한때 연구 분야에 불과했던 기술이 이제 다양한 산업에서 영향력 있는 애플리케이션을 이끌고 있습니다. 자율주행 자동차부터 의료 영상 및 보안에 이르기까지 컴퓨터 비전 시스템은 대규모로 실제 문제를 해결하고 있습니다.

이러한 애플리케이션 중 상당수는 이미지와 비디오를 실시간으로 분석해야 하며, 지연 시간, 비용, 개인정보 보호 문제로 인해 클라우드 컴퓨팅에 의존하는 것이 항상 실용적인 것은 아닙니다. 이러한 상황에서 Edge AI는 훌륭한 솔루션입니다. 비전 AI 모델을 엣지 디바이스에서 직접 실행하면 기업은 데이터를 더 빠르고 비용 효율적으로 처리할 수 있으며, 보안성도 높아져 실시간 AI를 더욱 쉽게 활용할 수 있습니다.

Ultralytics가 주최하는 연례 하이브리드 이벤트인 YOLO Vision 2024 (YV24)에서는 배포를 더욱 사용자 친화적이고 효율적으로 만들어 비전 AI를 대중화하는 것이 주요 주제 중 하나였습니다. NVIDIA의 수석 솔루션 아키텍트인 Guy Dahan은 엣지 컴퓨팅 디바이스, 추론 서버, 최적화 프레임워크, AI 배포 SDK를 비롯한 NVIDIA의 하드웨어 및 소프트웨어 솔루션이 개발자가 엣지에서 AI를 최적화하는 데 어떻게 기여하고 있는지 설명했습니다.

이 글에서는 Guy Dahan의 YV24 기조연설에서 얻은 주요 인사이트와 NVIDIA의 최신 혁신이 비전 AI 배포를 더욱 빠르고 확장 가능하게 만드는 방법을 살펴봅니다.

엣지 AI란 무엇인가요?#

Guy Dahan은 YV24에 온라인으로 참여하게 된 소감과 Ultralytics Python 패키지 및 Ultralytics YOLO 모델에 대한 관심을 밝히며 발표를 시작했습니다. 그는 다음과 같이 말했습니다. "출시된 날부터 Ultralytics를 사용해 왔습니다. Ultralytics가 정말 마음에 듭니다. 그전부터 YOLOv5를 사용해 왔고, 이 패키지의 열렬한 팬입니다."

그런 다음 Edge AI의 개념을 소개하며, 데이터를 처리를 위해 원격 클라우드 서버로 전송하는 대신 카메라, 드론 또는 산업용 기계와 같은 디바이스에서 AI 연산을 직접 실행하는 방식이라고 설명했습니다.

이미지나 비디오를 업로드하고 분석한 후 결과를 다시 받을 때까지 기다리는 대신, Edge AI를 사용하면 디바이스 자체에서 데이터를 즉시 분석할 수 있습니다. 따라서 비전 AI 시스템은 더 빠르고 효율적이며 인터넷 연결에 대한 의존도도 낮아집니다. Edge AI는 자율주행 자동차, 보안 카메라, 스마트 팩토리와 같은 실시간 의사 결정 애플리케이션에 특히 유용합니다.

엣지 AI의 주요 이점#

Edge AI를 소개한 후 Guy Dahan은 효율성, 비용 절감, 데이터 보안을 중심으로 주요 이점을 강조했습니다. 그는 가장 큰 이점 중 하나가 낮은 지연 시간이라고 설명했습니다. AI 모델이 디바이스에서 직접 데이터를 처리하므로 클라우드로 정보를 보내고 응답을 기다릴 필요가 없기 때문입니다.

Edge AI는 비용을 절감하고 민감한 데이터를 보호하는 데도 도움이 됩니다. 대량의 데이터, 특히 비디오 스트림을 클라우드로 전송하는 데는 많은 비용이 들 수 있습니다. 그러나 데이터를 로컬에서 처리하면 대역폭 및 스토리지 비용을 줄일 수 있습니다.

또 다른 주요 이점은 데이터 개인정보 보호입니다. 정보가 외부 서버로 전송되지 않고 디바이스에 남아 있기 때문입니다. 이는 데이터를 로컬에서 안전하게 유지하는 것이 최우선 과제인 의료, 금융, 보안 애플리케이션에서 특히 중요합니다.

그림 1. YV24에서 엣지 AI의 이점을 주제로 원격 발표 중인 Guy Dahan.

이러한 이점을 바탕으로 Guy Dahan은 Edge AI의 채택이 증가하고 있는 현황에 대해 설명했습니다. NVIDIA가 2014년에 Jetson을 출시한 이후 사용량이 10배 증가했다고 언급했습니다. 현재 120만 명이 넘는 개발자가 Jetson 디바이스를 사용하고 있습니다.

NVIDIA Jetson 개요: 엣지 AI 디바이스#

그런 다음 Guy Dahan은 낮은 전력 소비로 높은 성능을 제공하도록 설계된 AI 엣지 컴퓨팅 디바이스 제품군인 NVIDIA Jetson 디바이스에 초점을 맞췄습니다. Jetson 디바이스는 로보틱스, 농업, 의료, 산업 자동화와 같은 분야의 컴퓨터 비전 애플리케이션에 적합합니다. Guy Dahan은 다음과 같이 덧붙였습니다. "Jetson은 AI를 위해 특별히 설계된 Edge AI 디바이스입니다. 원래는 주로 컴퓨터 비전을 위해 설계되었다고 말할 수도 있습니다."

Jetson 디바이스는 세 가지 등급으로 제공되며, 각 등급은 서로 다른 요구 사항에 적합합니다.

• 보급형: 이 디바이스는 1015W의 전력 소비로 2040초당 1조 회 연산(TOPS)의 AI 성능을 제공하므로 엣지 애플리케이션에 적합한 경제적인 선택입니다.
• 주류형: 성능과 효율성의 균형을 맞춰 2040W의 전력 소비로 70200 TOPS를 제공하며, 중간 규모의 AI 워크로드에 적합합니다.
• 고성능: 60~75W의 전력 소비로 최대 275 TOPS를 제공하며, 로보틱스 및 자동화와 같은 까다로운 AI 애플리케이션을 위해 설계되었습니다.

또한 Guy Dahan은 올해 출시 예정인 Jetson AGX Thor에 대해 소개하며, GPU(그래픽 처리 장치) 성능이 8배 향상되고 메모리 용량이 2배로 늘어나며 CPU(중앙 처리 장치) 성능도 개선될 것이라고 말했습니다. 이 제품은 휴머노이드 로보틱스와 고급 Edge AI 애플리케이션을 위해 특별히 설계되었습니다.

컴퓨터 비전 모델 배포와 관련된 과제#

그런 다음 Guy Dahan은 Edge AI의 소프트웨어 측면으로 주제를 전환하며, 강력한 하드웨어가 있더라도 모델을 효율적으로 배포하는 일은 어려울 수 있다고 설명했습니다.

가장 큰 장애물 중 하나는 호환성입니다. AI 개발자는 PyTorch와 TensorFlow 같은 서로 다른 AI 프레임워크를 사용하는 경우가 많기 때문입니다. 이러한 프레임워크 간에 전환하는 일은 어려울 수 있으며, 모든 요소가 올바르게 실행되도록 개발자가 환경을 다시 구성해야 합니다.

확장성 역시 중요한 과제입니다. AI 모델에는 상당한 컴퓨팅 성능이 필요하며, Dahan의 표현대로 "더 적은 컴퓨팅을 원하는 AI 기업은 지금까지 없었습니다." 여러 디바이스에서 AI 애플리케이션을 확장하면 비용이 빠르게 증가할 수 있으므로 최적화가 필수적입니다.

또한 AI 파이프라인은 복잡하며, 다양한 유형의 데이터, 실시간 처리, 시스템 통합이 포함되는 경우가 많습니다. 개발자는 모델이 기존 소프트웨어 생태계와 원활하게 상호 작용하도록 만드는 데 많은 노력을 기울입니다. 이러한 과제를 해결하는 것은 AI 배포를 더욱 효율적이고 확장 가능하게 만드는 데 중요한 부분입니다.

그림 2. 모델 배포의 과제.

NVIDIA Triton Inference Server를 사용한 간소화된 배포#

다음으로 Guy Dahan은 NVIDIA의 Triton Inference Server에 주목했습니다. 많은 기업과 스타트업이 모델을 완전히 최적화하지 않은 상태에서 AI 개발을 시작한다고 지적했습니다. 전체 AI 파이프라인을 처음부터 다시 설계하면 기존 작업에 지장을 주고 시간이 많이 소요될 수 있어 효율적인 확장이 어려워집니다.

Triton은 전체 시스템을 개편할 필요 없이 개발자가 AI 워크플로를 점진적으로 개선하고 최적화할 수 있도록 하며, 기존 설정을 중단하지 않고 더욱 효율적인 구성 요소를 통합할 수 있게 합니다. TensorFlow, PyTorch, ONNX, TensorRT를 비롯한 여러 AI 프레임워크를 지원하는 Triton은 최소한의 조정만으로 클라우드 환경, 데이터 센터, 엣지 디바이스 전반에서 원활한 배포를 가능하게 합니다.

그림 3. NVIDIA Triton Inference Server 개요.

NVIDIA Triton Inference Server의 주요 이점은 다음과 같습니다.

• 자동 배칭: Triton은 AI 요청 여러 개를 처리하기 전에 하나로 그룹화하여 지연(레이턴시)을 줄이고 추론 속도(AI 모델이 결과를 생성하는 데 걸리는 시간)를 향상합니다.
• Kubernetes 통합: Triton은 클라우드 네이티브이므로 Kubernetes(여러 컴퓨터 또는 클라우드 서버에서 AI 애플리케이션을 관리하고 확장하는 데 도움이 되는 시스템)와 원활하게 연동됩니다.
• 오픈 소스 및 사용자 지정 가능: 개발자는 특정 요구 사항에 맞게 Triton을 수정할 수 있으므로 다양한 AI 애플리케이션에 유연하게 적용할 수 있습니다.

NVIDIA TensorRT를 사용한 AI 성능 극대화#

더 높은 수준의 가속을 원한다고 가정해 보겠습니다. NVIDIA TensorRT는 AI 모델을 최적화할 수 있는 흥미로운 옵션입니다. Guy Dahan은 TensorRT가 NVIDIA GPU를 위해 구축된 고성능 딥 러닝 최적화 도구라고 설명했습니다. TensorFlow, PyTorch, ONNX, MXNet의 모델은 TensorRT를 사용해 GPU에서 실행 가능한 고효율 파일로 변환할 수 있습니다.

TensorRT의 높은 신뢰성을 뒷받침하는 요소는 하드웨어별 최적화입니다. Jetson 디바이스에 최적화된 모델은 다른 GPU에서 동일한 효율로 실행되지 않습니다. TensorRT가 대상 하드웨어에 맞춰 성능을 미세 조정하기 때문입니다. 미세 조정된 컴퓨터 비전 모델은 최적화되지 않은 모델에 비해 추론 속도를 최대 36배 높일 수 있습니다.

Guy Dahan은 Ultralytics의 TensorRT 지원에도 주목하며, 이를 통해 AI 모델 배포가 더욱 빠르고 효율적으로 이루어진다고 설명했습니다. Ultralytics YOLO 모델은 TensorRT 형식으로 직접 내보낼 수 있으므로, 개발자는 아무런 변경 없이 NVIDIA GPU에 맞게 모델을 최적화할 수 있습니다.

DeepStream 7.0: 스트리밍 분석 툴킷#

발표를 인상적으로 마무리하며 Guy Dahan은 NVIDIA GPU를 사용해 비디오, 오디오, 센서 데이터를 실시간으로 처리하도록 설계된 AI 프레임워크인 DeepStream 7.0을 소개했습니다. 고속 컴퓨터 비전 애플리케이션을 지원하도록 구축된 DeepStream은 자율 시스템, 보안, 산업 자동화, 스마트 시티 전반에서 객체 감지, 추적, 분석을 가능하게 합니다. AI를 엣지 디바이스에서 직접 실행함으로써 클라우드 의존성을 없애고 지연 시간을 줄이며 효율성을 높입니다.

그림 4. YV24에서 Guy Dahan과 함께 DeepStream 7.0 살펴보기.

특히 DeepStream은 처음부터 끝까지 AI 기반 비디오 처리를 수행할 수 있습니다. 비디오 디코딩 및 사전 처리부터 AI 추론과 후처리에 이르는 엔드투엔드 워크플로를 지원합니다.

최근 DeepStream은 AI 배포를 개선하고 더욱 쉽게 확장할 수 있도록 여러 업데이트를 도입했습니다. 새로운 도구는 개발을 간소화하고, 다중 카메라 추적을 개선하며, 더 나은 성능을 위해 AI 파이프라인을 최적화합니다.

이제 개발자는 Windows 환경에 대한 확장된 지원, 여러 소스의 데이터를 통합하기 위한 향상된 센서 융합 기능, 배포를 가속하는 사전 구축된 레퍼런스 애플리케이션을 이용할 수 있습니다. 이러한 개선 사항은 DeepStream을 실시간 AI 애플리케이션을 위한 더욱 유연하고 효율적인 솔루션으로 만들어 개발자가 지능형 비디오 분석을 손쉽게 확장할 수 있도록 지원합니다.

핵심 요점#

YV24에서 Guy Dahan이 기조연설을 통해 보여준 것처럼 Edge AI는 컴퓨터 비전 애플리케이션을 재정의하고 있습니다. 하드웨어와 소프트웨어의 발전으로 실시간 처리는 더욱 빠르고 효율적이며 비용 효율적으로 이루어지고 있습니다.

더 많은 산업에서 Edge AI를 도입함에 따라 단편화와 배포 복잡성 같은 과제를 해결하는 것이 잠재력을 최대한 실현하는 핵심이 될 것입니다. 이러한 혁신을 수용하면 더욱 스마트하고 신속하게 대응하는 AI 애플리케이션의 발전을 이끌어 컴퓨터 비전의 미래를 형성할 수 있습니다.

성장하는 커뮤니티의 일원이 되어 보세요! GitHub 리포지토리를 살펴보며 AI에 대해 자세히 알아보고, 라이선스 옵션을 확인하여 비전 AI 프로젝트를 시작해 보세요. 의료 분야의 AI와 제조 분야의 컴퓨터 비전 같은 혁신이 궁금하신가요? 솔루션 페이지를 방문하여 자세히 알아보세요!