Edge AI와 Jetson, Triton 및 TensorRT와 같은 NVIDIA의 혁신 기술이 컴퓨터 비전 애플리케이션의 배포를 어떻게 간소화하는지 살펴보세요.
Edge AI와 Jetson, Triton 및 TensorRT와 같은 NVIDIA의 혁신 기술이 컴퓨터 비전 애플리케이션의 배포를 어떻게 간소화하는지 살펴보세요.
컴퓨터 비전과 인공 지능(AI)의 최근 발전 덕분에 한때 연구 분야에 불과했던 것이 이제 다양한 산업 분야에서 영향력 있는 애플리케이션을 주도하고 있습니다. 자율 주행차부터 의료 영상 및 보안에 이르기까지 컴퓨터 비전 시스템은 실제 문제를 대규모로 해결하고 있습니다.
이러한 애플리케이션 중 상당수는 이미지를 분석하고 실시간으로 비디오를 분석하는 것과 관련이 있으며, 지연 시간, 비용 및 개인 정보 보호 문제로 인해 클라우드 컴퓨팅에 의존하는 것이 항상 실용적인 것은 아닙니다. 엣지 AI는 이러한 상황에서 훌륭한 솔루션입니다. 기업은 엣지 장치에서 직접 Vision AI 모델을 실행함으로써 데이터를 더 빠르고 저렴하며 안전하게 처리하여 실시간 AI에 대한 접근성을 높일 수 있습니다.
Ultralytics에서 주최하는 연례 하이브리드 이벤트인 YOLO Vision 2024 (YV24)에서 주요 주제 중 하나는 배포를 보다 사용자 친화적이고 효율적으로 만들어 Vision AI를 대중화하는 것이었습니다. NVIDIA의 수석 솔루션 설계자인 Guy Dahan은 엣지 컴퓨팅 장치, 추론 서버, 최적화 프레임워크 및 AI 배포 SDK를 포함한 NVIDIA의 하드웨어 및 소프트웨어 솔루션이 개발자가 엣지에서 AI를 최적화하는 데 어떻게 도움이 되는지 논의했습니다.
이번 글에서는 Guy Dahan의 YV24 기조연설에서 얻을 수 있는 주요 내용과 NVIDIA의 최신 혁신 기술이 Vision AI 배포를 어떻게 더 빠르고 확장 가능하게 만드는지 살펴보겠습니다.
Guy Dahan은 YV24에 가상으로 참여하게 된 것에 대한 열정과 Ultralytics Python 패키지 및 Ultralytics YOLO 모델에 대한 관심을 표현하면서 "Ultralytics가 출시된 날부터 사용해 왔습니다. Ultralytics를 정말 좋아합니다. 그 이전부터 YOLOv5를 사용해 왔고 이 패키지의 진정한 열성 팬입니다."라고 말하며 강연을 시작했습니다.
다음으로, 그는 엣지 AI의 개념을 소개하면서, 이는 데이터를 처리하기 위해 먼 클라우드 서버로 전송하는 대신 카메라, 드론 또는 산업 기계와 같은 장치에서 직접 AI 연산을 실행하는 것을 포함한다고 설명했습니다.
이미지나 비디오가 업로드되고 분석된 다음 결과와 함께 다시 전송될 때까지 기다리는 대신, Edge AI를 사용하면 장치 자체에서 데이터를 즉시 분석할 수 있습니다. 이를 통해 Vision AI 시스템은 더 빠르고 효율적이며 인터넷 연결에 대한 의존도가 낮아집니다. Edge AI는 자율 주행 자동차, 보안 카메라 및 스마트 팩토리와 같은 실시간 의사 결정 애플리케이션에 특히 유용합니다.
Guy Dahan은 Edge AI를 소개한 후 효율성, 비용 절감 및 데이터 보안에 중점을 두고 주요 이점을 강조했습니다. 그는 가장 큰 이점 중 하나가 낮은 지연 시간이라고 설명했습니다. AI 모델이 장치에서 직접 데이터를 처리하므로 정보를 클라우드로 보내 응답을 기다릴 필요가 없기 때문입니다.
엣지 AI는 비용 절감 및 민감한 데이터 보호에도 도움이 됩니다. 특히 비디오 스트림과 같이 대량의 데이터를 클라우드로 전송하는 것은 비용이 많이 들 수 있습니다. 그러나 로컬에서 처리하면 대역폭 및 스토리지 비용이 절감됩니다.
또 다른 주요 장점은 정보가 외부 서버로 전송되지 않고 장치에 보관되므로 데이터 개인 정보 보호가 가능하다는 것입니다. 이는 데이터를 로컬에 안전하게 보관하는 것이 최우선 과제인 의료, 금융 및 보안 애플리케이션에 특히 중요합니다.
이러한 이점을 바탕으로 Guy Dahan은 Edge AI의 채택이 증가하고 있다고 언급했습니다. 그는 NVIDIA가 2014년에 Jetson을 출시한 이후 사용량이 10배 증가했다고 언급했습니다. 오늘날 120만 명이 넘는 개발자가 Jetson 장치를 사용하고 있습니다.
Guy Dahan은 NVIDIA Jetson 장치에 초점을 맞췄습니다. Jetson 장치는 낮은 전력 소비로 고성능을 제공하도록 설계된 AI 에지 컴퓨팅 장치 제품군입니다. Jetson 장치는 로봇 공학, 농업, 의료 및 산업 자동화와 같은 분야의 컴퓨터 비전 애플리케이션에 이상적입니다. Guy Dahan은 "Jetson은 AI에 특화된 에지 AI 장치입니다. 원래는 주로 컴퓨터 비전을 위해 설계되었다고 덧붙일 수도 있습니다."라고 덧붙였습니다.
Jetson 장치는 세 가지 등급으로 제공되며, 각 등급은 서로 다른 요구 사항에 적합합니다.
또한 Guy Dahan은 올해 출시될 예정인 차세대 Jetson AGX Thor에 대해 공유하며 GPU(그래픽 처리 장치) 성능이 8배, 메모리 용량이 2배 향상되고 CPU(중앙 처리 장치) 성능이 향상될 것이라고 말했습니다. 이는 특히 휴머노이드 로봇 공학 및 고급 엣지 AI 애플리케이션을 위해 설계되었습니다.
Guy Dahan은 에지 AI의 소프트웨어 측면에 대해 논의하기 시작했고 강력한 하드웨어를 사용하더라도 모델을 효율적으로 배포하는 것은 어려울 수 있다고 설명했습니다.
가장 큰 장애물 중 하나는 호환성입니다. AI 개발자는 종종 PyTorch 및 TensorFlow와 같은 다양한 AI 프레임워크를 사용하기 때문입니다. 이러한 프레임워크 간에 이동하는 것은 어려울 수 있으며 모든 것이 올바르게 실행되도록 환경을 다시 만들어야 합니다.
확장성 또한 중요한 과제입니다. AI 모델은 상당한 컴퓨팅 파워를 요구하며, Dahan의 말처럼 "더 적은 컴퓨팅을 원하는 AI 회사는 없었습니다." 여러 장치에서 AI 애플리케이션을 확장하는 것은 빠르게 비용이 많이 들 수 있으므로 최적화가 필수적입니다.
또한 AI 파이프라인은 복잡하며 다양한 유형의 데이터, 실시간 처리 및 시스템 통합과 관련되는 경우가 많습니다. 개발자는 모델이 기존 소프트웨어 생태계와 원활하게 상호 작용하도록 하는 데 많은 노력을 기울입니다. 이러한 과제를 극복하는 것은 AI 배포를 더욱 효율적이고 확장 가능하게 만드는 데 중요한 부분입니다.
다음으로 Guy Dahan은 NVIDIA의 Triton Inference Server로 관심을 돌렸습니다. 그는 많은 회사와 스타트업이 모델을 완전히 최적화하지 않고 AI 개발을 시작한다고 지적했습니다. AI 파이프라인 전체를 처음부터 다시 설계하는 것은 파괴적이고 시간이 많이 걸려 효율적으로 확장하기 어렵습니다.
Triton은 완전한 시스템 점검을 요구하는 대신 개발자가 기존 설정을 중단하지 않고도 AI 워크플로우를 점진적으로 개선하고 최적화하여 보다 효율적인 구성 요소를 통합할 수 있도록 지원합니다. TensorFlow, PyTorch, ONNX 및 TensorRT를 포함한 여러 AI 프레임워크를 지원하는 Triton은 최소한의 조정으로 클라우드 환경, 데이터 센터 및 에지 장치에서 원활한 배포를 가능하게 합니다.
NVIDIA Triton Inference Server의 주요 이점은 다음과 같습니다.
더욱 빠른 가속을 원한다고 가정해 보겠습니다. NVIDIA TensorRT는 AI 모델을 최적화하는 데 흥미로운 옵션입니다. Guy Dahan은 TensorRT가 NVIDIA GPU용으로 구축된 고성능 딥 러닝 최적화 도구라고 설명했습니다. TensorFlow, PyTorch, ONNX 및 MXNet의 모델은 TensorRT를 사용하여 매우 효율적인 GPU 실행 파일로 변환할 수 있습니다.
TensorRT가 매우 안정적인 이유는 하드웨어에 특화된 최적화 때문입니다. Jetson 장치에 최적화된 모델은 대상 하드웨어를 기반으로 TensorRT가 성능을 미세 조정하기 때문에 다른 GPU에서는 효율적으로 작동하지 않습니다. 미세 조정된 컴퓨터 비전 모델은 최적화되지 않은 모델에 비해 추론 속도가 최대 36배까지 향상될 수 있습니다.
Guy Dahan은 또한 Ultralytics의 TensorRT 지원에 주목하면서 AI 모델 배포를 더 빠르고 효율적으로 만드는 방법에 대해 이야기했습니다. Ultralytics YOLO 모델은 TensorRT 형식으로 직접 내보낼 수 있으므로 개발자는 변경 없이 NVIDIA GPU에 맞게 최적화할 수 있습니다.
Guy Dahan은 강연을 마무리하면서 NVIDIA GPU를 사용하여 비디오, 오디오 및 센서 데이터의 실시간 처리를 위해 설계된 AI 프레임워크인 DeepStream 7.0을 선보였습니다. 고속 컴퓨터 비전 애플리케이션을 지원하도록 구축되어 자율 시스템, 보안, 산업 자동화 및 스마트 시티 전반에서 객체 감지, 추적 및 분석이 가능합니다. DeepStream은 AI를 엣지 장치에서 직접 실행하여 클라우드 종속성을 제거하고 대기 시간을 줄이며 효율성을 향상시킵니다.
특히, DeepStream은 AI 기반 비디오 처리를 처음부터 끝까지 처리할 수 있습니다. 비디오 디코딩 및 전처리부터 AI 추론 및 후처리에 이르기까지 엔드 투 엔드 워크플로우를 지원합니다.
최근 DeepStream은 AI 배포를 향상시키기 위해 여러 업데이트를 도입하여 접근성과 확장성을 높였습니다. 새로운 도구는 개발을 간소화하고, 다중 카메라 추적을 개선하며, 더 나은 성능을 위해 AI 파이프라인을 최적화합니다.
이제 개발자는 Windows 환경에 대한 확장된 지원, 여러 소스의 데이터를 통합하기 위한 향상된 센서 융합 기능, 배포를 가속화하기 위한 사전 구축된 참조 애플리케이션에 액세스할 수 있습니다. 이러한 개선 사항은 DeepStream을 실시간 AI 애플리케이션을 위한 보다 유연하고 효율적인 솔루션으로 만들어 개발자가 지능형 비디오 분석을 쉽게 확장할 수 있도록 지원합니다.
Guy Dahan의 YV24 기조연설에서 설명되었듯이, 엣지 AI는 컴퓨터 비전 애플리케이션을 재정의하고 있습니다. 하드웨어 및 소프트웨어의 발전으로 실시간 처리가 더욱 빠르고 효율적이며 비용 효율적으로 변모하고 있습니다.
더 많은 산업에서 엣지 AI를 채택함에 따라 파편화 및 배포 복잡성과 같은 문제 해결이 엣지 AI의 잠재력을 최대한 발휘하는 데 핵심이 될 것입니다. 이러한 혁신을 수용하면 더욱 스마트하고 반응성이 뛰어난 AI 애플리케이션을 추진하여 컴퓨터 비전의 미래를 형성할 수 있습니다.
성장하는 커뮤니티에 참여하세요! GitHub 저장소를 탐색하여 AI에 대해 자세히 알아보고, 라이선스 옵션을 확인하여 Vision AI 프로젝트를 시작해 보세요. 헬스케어 분야의 AI 및 제조 분야의 컴퓨터 비전과 같은 혁신 기술에 대해 궁금하신가요? 솔루션 페이지를 방문하여 자세히 알아보세요!
.webp)