Edge AI 장치에 컴퓨터 비전 애플리케이션 배포하기

컴퓨터 비전 및 인공지능(AI) 분야의 최근 발전 덕분에, 한때 연구 수준에 머물렀던 기술이 이제 다양한 산업 전반에서 영향력 있는 애플리케이션을 구동하고 있습니다. 자율 주행 자동차부터 의료 영상 및 보안에 이르기까지, 컴퓨터 비전 시스템은 실제 문제를 대규모로 해결하고 있습니다.

이러한 애플리케이션 중 다수는 이미지와 비디오를 실시간으로 분석해야 하며, 지연 시간, 비용, 개인정보 보호 문제로 인해 클라우드 컴퓨팅에만 의존하는 것이 항상 실용적이지는 않습니다. Edge AI는 이러한 상황에서 훌륭한 해결책이 됩니다. 비전 AI 모델을 엣지 장치에서 직접 실행함으로써 기업은 데이터를 더 빠르고 저렴하며 안전하게 처리할 수 있게 되어 실시간 AI를 더욱 쉽게 이용할 수 있습니다.

Ultralytics가 주최한 연례 하이브리드 이벤트인 YOLO Vision 2024 (YV24)의 핵심 주제 중 하나는 배포를 더욱 사용자 친화적이고 효율적으로 만들어 비전 AI를 대중화하는 것이었습니다. NVIDIA의 수석 솔루션 아키텍트인 Guy Dahan은 엣지 컴퓨팅 장치, 추론 서버, 최적화 프레임워크, AI 배포 SDK를 포함한 NVIDIA의 하드웨어 및 소프트웨어 솔루션이 어떻게 개발자들이 엣지에서 AI를 최적화하도록 돕고 있는지 설명했습니다.

본 기사에서는 Guy Dahan의 YV24 기조연설에서 얻은 핵심 통찰과, NVIDIA의 최신 혁신이 어떻게 비전 AI 배포를 더 빠르고 확장 가능하게 만드는지 살펴보겠습니다.

Link to this sectionEdge AI란 무엇인가?#

Guy Dahan은 YV24에 가상으로 참여하게 되어 매우 기쁘다고 밝히며, Ultralytics Python 패키지와 Ultralytics YOLO 모델에 대한 관심을 표명했습니다. 그는 "저는 Ultralytics가 출시된 첫날부터 사용해 왔습니다. 정말 마음에 듭니다. 그 전부터 YOLOv5를 사용해 왔으며, 이 패키지의 열렬한 팬입니다"라고 말했습니다.

이어서 그는 Edge AI의 개념을 소개하며, 데이터를 처리를 위해 먼 클라우드 서버로 보내는 대신 카메라, 드론, 산업용 기계와 같은 장치에서 AI 연산을 직접 수행하는 방식이라고 설명했습니다.

이미지나 비디오가 업로드되고 분석된 뒤 결과가 반환되기를 기다리는 대신, Edge AI는 장치 자체에서 데이터를 즉시 분석할 수 있게 합니다. 이로 인해 비전 AI 시스템은 더 빠르고 효율적이며 인터넷 연결에 대한 의존도가 낮아집니다. Edge AI는 자율 주행 자동차, 보안 카메라, 스마트 공장과 같은 실시간 의사결정 애플리케이션에 특히 유용합니다.

Link to this sectionEdge AI의 주요 이점#

Edge AI를 소개한 후, Guy Dahan은 효율성, 비용 절감, 데이터 보안에 중점을 두고 주요 장점을 강조했습니다. 그는 AI 모델이 장치에서 직접 데이터를 처리하므로 정보를 클라우드로 전송하고 응답을 기다릴 필요가 없어 낮은 지연 시간(low latency)을 달성할 수 있다는 점이 가장 큰 이점 중 하나라고 설명했습니다.

또한 Edge AI는 비용 절감과 민감한 데이터 보호를 돕습니다. 특히 비디오 스트림과 같이 방대한 양의 데이터를 클라우드로 전송하는 것은 비용이 많이 들 수 있습니다. 그러나 데이터를 로컬에서 처리하면 대역폭과 저장 비용이 감소합니다.

또 다른 핵심 장점은 정보가 외부 서버로 전송되지 않고 장치에 유지되기 때문에 데이터 개인정보가 보호된다는 점입니다. 이는 데이터를 로컬에 안전하게 유지하는 것이 최우선인 헬스케어, 금융, 보안 애플리케이션에서 특히 중요합니다.

그림 1. YV24에서 원격으로 Edge AI의 이점에 대해 발표하는 Guy Dahan.

이러한 이점을 바탕으로 Guy Dahan은 Edge AI의 채택이 증가하고 있다고 언급했습니다. 그는 NVIDIA가 2014년에 Jetson을 도입한 이후 사용량이 10배 증가했다고 말했습니다. 오늘날 120만 명 이상의 개발자가 Jetson 장치와 함께 작업하고 있습니다.

Link to this sectionNVIDIA Jetson 개요: 엣지 AI 장치#

Guy Dahan은 낮은 전력 소비로 고성능을 제공하도록 설계된 AI 엣지 컴퓨팅 장치 제품군인 NVIDIA Jetson 장치에 초점을 맞췄습니다. Jetson 장치는 로봇 공학, 농업, 헬스케어 및 산업 자동화 분야의 컴퓨터 비전 애플리케이션에 이상적입니다. Guy Dahan은 "Jetson은 AI를 위해 특별히 맞춤 제작된 Edge AI 장치입니다. 원래는 대부분 컴퓨터 비전을 위해 설계되었다고 덧붙이고 싶군요"라고 말했습니다.

Jetson 장치는 각기 다른 요구 사항에 적합한 세 가지 등급으로 제공됩니다.

• 엔트리 레벨: 이 장치들은 10 - 15W의 전력 소비로 20 - 40 TOPS(초당 조 단위 연산)의 AI 성능을 제공하여 엣지 애플리케이션을 위한 경제적인 선택지가 됩니다.
• 메인스트림: 성능과 효율성의 균형을 맞추며, 20 - 40W의 전력 소비로 70 - 200 TOPS를 제공하여 중급 AI 워크로드에 적합합니다.
• 고성능: 최대 275 TOPS를 60 - 75W의 전력 소비로 제공하며, 로봇 공학 및 자동화와 같은 까다로운 AI 애플리케이션을 위해 설계되었습니다.

또한 Guy Dahan은 올해 출시될 예정인 Jetson AGX Thor에 대해 공유하며, 이 장치가 8배의 GPU 성능, 2배의 메모리 용량, 향상된 CPU 성능을 제공할 것이라고 말했습니다. 이 장치는 휴머노이드 로봇 공학 및 고급 Edge AI 애플리케이션을 위해 특별히 설계되었습니다.

Link to this section컴퓨터 비전 모델 배포와 관련된 과제#

Guy Dahan은 Edge AI의 소프트웨어 측면으로 논의를 전환하며, 강력한 하드웨어가 있어도 모델을 효율적으로 배포하는 것은 어려울 수 있다고 설명했습니다.

가장 큰 장애물 중 하나는 호환성입니다. AI 개발자들은 종종 PyTorch나 TensorFlow와 같은 다양한 AI 프레임워크를 다루기 때문입니다. 이 프레임워크들 사이를 전환하는 것은 어려울 수 있으며, 개발자가 모든 것이 올바르게 실행되도록 환경을 재구성해야 합니다.

확장성 또한 핵심적인 과제입니다. AI 모델은 상당한 컴퓨팅 성능을 필요로 하며, Dahan이 언급했듯이 "더 적은 컴퓨팅 자원을 원하는 AI 기업은 없습니다." 여러 장치에 걸쳐 AI 애플리케이션을 확장하는 것은 빠르게 비용이 많이 들 수 있으므로 최적화가 필수적입니다.

또한 AI 파이프라인은 복잡하며 종종 다양한 유형의 데이터, 실시간 처리 및 시스템 통합을 포함합니다. 개발자들은 자신의 모델이 기존 소프트웨어 에코시스템과 원활하게 상호 작용하도록 보장하기 위해 많은 노력을 기울입니다. 이러한 과제를 극복하는 것은 AI 배포를 더 효율적이고 확장 가능하게 만드는 중요한 부분입니다.

그림 2. 모델 배포의 과제.

Link to this sectionNVIDIA의 Triton Inference Server로 배포 간소화하기#

다음으로 Guy Dahan은 NVIDIA의 Triton Inference Server에 주목했습니다. 그는 많은 기업과 스타트업이 모델을 완전히 최적화하지 않은 상태로 AI 개발을 시작한다고 지적했습니다. 전체 AI 파이프라인을 처음부터 다시 설계하는 것은 비효율적이고 시간이 많이 소요되어 효율적인 확장을 어렵게 만듭니다.

완전한 시스템 정비를 요구하는 대신, Triton은 개발자가 AI 워크플로를 점진적으로 개선하고 최적화할 수 있게 하며, 기존 설정을 파괴하지 않고 더 효율적인 구성 요소를 통합할 수 있게 합니다. TensorFlow, PyTorch, ONNX 및 TensorRT를 포함한 다중 AI 프레임워크에 대한 지원을 통해 Triton은 최소한의 조정으로 클라우드 환경, 데이터 센터 및 엣지 장치 전반에 걸친 원활한 배포를 가능하게 합니다.

그림 3. NVIDIA의 Triton Inference Server 개요.

다음은 NVIDIA의 Triton Inference Server의 주요 장점입니다:

• 자동 배치 처리(Automatic batching): Triton은 여러 AI 요청을 처리하기 전에 함께 그룹화하여 지연 시간(latency)을 줄이고 추론 속도(AI 모델이 결과를 생성하는 데 걸리는 시간)를 개선합니다.
• Kubernetes 통합: Triton은 클라우드 네이티브 환경을 지원하므로 Kubernetes(여러 컴퓨터나 클라우드 서버 전반에서 AI 애플리케이션을 관리하고 확장하는 데 도움을 주는 시스템)와 원활하게 작동합니다.
• 오픈 소스 및 사용자 정의 가능: 개발자는 특정 요구 사항에 맞게 Triton을 수정할 수 있어 광범위한 AI 애플리케이션에 대한 유연성을 보장합니다.

Link to this sectionNVIDIA TensorRT를 사용하여 AI 성능 극대화하기#

더 높은 가속화를 원하신다면, NVIDIA TensorRT가 AI 모델을 최적화하기 위한 흥미로운 옵션입니다. Guy Dahan은 TensorRT가 NVIDIA GPU를 위해 구축된 고성능 딥러닝 최적화 도구라고 상세히 설명했습니다. TensorFlow, PyTorch, ONNX 및 MXNet의 모델은 TensorRT를 사용하여 매우 효율적인 GPU 실행 파일로 변환될 수 있습니다.

TensorRT가 신뢰받는 이유는 하드웨어별 최적화 덕분입니다. Jetson 장치에 최적화된 모델은 TensorRT가 대상 하드웨어에 따라 성능을 정밀하게 조정하기 때문에 다른 GPU에서는 동일한 효율로 작동하지 않을 수 있습니다. 미세 조정된 컴퓨터 비전 모델은 최적화되지 않은 모델에 비해 추론 속도가 최대 36배까지 증가할 수 있습니다.

Guy Dahan은 또한 Ultralytics의 TensorRT 지원에 대해 언급하며, 이것이 어떻게 AI 모델 배포를 더 빠르고 효율적으로 만드는지 설명했습니다. Ultralytics YOLO 모델은 직접 TensorRT 형식으로 내보내기(export)할 수 있어, 개발자들이 변경 사항 없이 NVIDIA GPU에 맞춰 최적화할 수 있습니다.

Link to this sectionDeepStream 7.0: 스트리밍 분석 툴킷#

발표를 성공적으로 마무리하며, Guy Dahan은 NVIDIA GPU를 사용하여 비디오, 오디오 및 센서 데이터를 실시간으로 처리하도록 설계된 AI 프레임워크인 DeepStream 7.0을 선보였습니다. 고속 컴퓨터 비전 애플리케이션을 지원하기 위해 구축된 이 프레임워크는 자율 시스템, 보안, 산업 자동화 및 스마트 시티 전반에서 객체 감지, 추적 및 분석을 가능하게 합니다. AI를 엣지 장치에서 직접 실행함으로써 DeepStream은 클라우드 의존성을 제거하여 지연 시간을 줄이고 효율성을 향상합니다.

그림 4. YV24에서 Guy Dahan과 함께하는 DeepStream 7.0 탐색.

구체적으로 DeepStream은 시작부터 끝까지 AI 기반 비디오 처리를 담당할 수 있습니다. 비디오 디코딩 및 전처리부터 AI 추론 및 후처리에 이르는 엔드투엔드 워크플로를 지원합니다.

최근 DeepStream은 AI 배포를 강화하고 더 접근하기 쉽고 확장 가능하게 만들기 위해 여러 업데이트를 도입했습니다. 새로운 도구들은 개발을 간소화하고, 다중 카메라 추적을 개선하며, 더 나은 성능을 위해 AI 파이프라인을 최적화합니다.

이제 개발자들은 Windows 환경에 대한 확장된 지원, 여러 소스에서 데이터를 통합하기 위한 향상된 센서 퓨전 기능, 그리고 배포를 가속화하기 위한 사전 구축된 참조 애플리케이션에 접근할 수 있게 되었습니다. 이러한 개선 사항들은 DeepStream을 실시간 AI 애플리케이션을 위한 더욱 유연하고 효율적인 솔루션으로 만들어, 개발자들이 지능형 비디오 분석을 쉽게 확장할 수 있도록 돕습니다.

Link to this section핵심 요약#

YV24에서의 Guy Dahan의 기조연설에서 보여주었듯이, Edge AI는 컴퓨터 비전 애플리케이션을 재정의하고 있습니다. 하드웨어와 소프트웨어의 발전으로 실시간 처리는 더욱 빠르고 효율적이며 비용 효율적으로 변하고 있습니다.

더 많은 산업이 Edge AI를 채택함에 따라, 파편화 및 배포 복잡성과 같은 문제를 해결하는 것이 잠재력을 완전히 발휘하는 핵심이 될 것입니다. 이러한 혁신을 받아들이는 것은 더 스마트하고 응답성이 뛰어난 AI 애플리케이션을 주도하며 컴퓨터 비전의 미래를 형성할 것입니다.

성장하는 커뮤니티의 일원이 되어보세요! AI에 대해 자세히 알아보려면 GitHub 저장소를 탐색하고, 비전 AI 프로젝트를 시작하려면 라이선스 옵션을 확인해 보세요. 의료 분야의 AI나 제조 분야의 컴퓨터 비전과 같은 혁신이 궁금하신가요? 저희 솔루션 페이지를 방문하여 더 알아보세요!