효율적인 고성능 엣지 AI를 위해 Axelera AI와 협력하여Python 지원하는 새로운 내보내기 통합 기능에 대해 알아보세요.
효율적인 고성능 엣지 AI를 위해 Axelera AI와 협력하여Python 지원하는 새로운 내보내기 통합 기능에 대해 알아보세요.
Ultralytics AI가 점점 더 널리 보급됨에 따라, 엣지 디바이스에서 직접 컴퓨터 비전 모델을 실행하려는 추세가 점차 확대되고 있음을 확인하고 있습니다. 최근 기술 컨퍼런스에서 온라인 및 대면으로 컴퓨터 비전 커뮤니티와 나눈 대화를 통해, 우리 팀은 데이터가 생성되는 지점 바로 근처에서 비전 AI를 배포하려는 관심이 높아지고 있음을 확인했습니다.
스마트 소매 환경과 산업 자동화에서 로봇 공학에 이르기까지, 실시간 인사이트는 필수 요소가 되고 있으며, 더 이상 클라우드에만 의존하는 것만으로는 충분하지 않습니다.
간단히 말해, 엣지 AI는 데이터를 중앙 집중식 서버로 전송해 처리하는 대신, 기기 내에서 직접 AI 모델을 실행하는 것을 의미합니다. 이를 통해 지연 시간을 줄이고, 안정성을 높이며, 실제 상황에 실시간으로 대응할 수 있습니다.
그러나 이러한 환경에 고성능 모델을 배포하는 데는 고유한 어려움이 따르는데, 제한된 컴퓨팅 리소스와 전력 제약으로 인해 모델은 효율적일 뿐만 아니라 실행되는 하드웨어에 최적화되어 있어야 하기 때문이다.
Ultralytics Ultralytics 같은 Ultralytics YOLO 실시간 컴퓨터 비전을 위해 설계되었지만, 엣지 환경에서 이 모델들의 잠재력을 최대한 발휘하려면 소프트웨어와 하드웨어의 적절한 조합이 필요합니다. 이에 따라 저희는 Axelera AI와의 협력을 발표하게 되어 매우 기쁘게 생각합니다.
당사는 Axelera AI와 협력하여 업데이트된 내보내기 통합 기능을 도입함으로써, Metis® AI 처리 장치(AIPU)에서 Ultralytics YOLO 효율적이고 고성능으로 배포할 수 있게 되었습니다.
이 글에서는 Ultralytics YOLO Metis에 배포하기 위해 어떻게 쉽게 컴파일할 수 있는지 살펴보겠습니다. 시작해 볼까요!
컴퓨터 비전 애플리케이션이 지속적으로 발전함에 따라, 더 빠르고 효율적인 처리의 필요성이 점점 더 중요해지고 있습니다. 기존의 클라우드 기반 방식은 지연 시간을 유발할 수 있고 안정적인 연결 상태에 의존하며, 많은 지능형 비전 활용 사례에서 요구되는 실시간 처리를 충족하지 못할 수도 있습니다.
엣지 AI는 모델을 로컬 기기에서 직접 실행할 수 있게 함으로써 이러한 과제를 해결하며, 이를 통해 데이터를 발생 지점 근처에서 처리할 수 있게 합니다. 예를 들어, 수색 및 구조 작전에 사용되는 비전 기반 드론을 생각해 보십시오.
이러한 시스템은 detect , 장애물 또는 위험 요소를 detect 위해 영상 피드를 실시간으로 분석해야 하며, 이는 대개 인터넷 연결이 제한적이거나 아예 없는 외딴 지역에서 이루어집니다. 엣지 AI는 컴퓨터 비전 모델을 드론에서 직접 실행함으로써 클라우드 인프라에 의존하지 않고도 더 빠른 의사 결정과 더 안정적인 성능을 제공합니다.
이러한 변화는 다양한 산업 분야에서 새로운 가능성을 열어주고 있습니다. 소매업의 실시간 물체 감지, 제조업의 자동 품질 검사, 로봇 공학의 환경 인식과 같은 응용 분야들은 모두 더 빠른 응답 속도와 향상된 신뢰성 덕분에 큰 이점을 얻고 있습니다.
엣지 AI는 실제 환경에서 확장 가능하고 반응성이 뛰어난 컴퓨터 비전 시스템을 구축하는 데 있어 핵심적인 기반 기술로 빠르게 자리 잡고 있습니다.
새로운 내보내기 통합 기능을 자세히 살펴보기 전에, 잠시 한 걸음 물러서서 Axelera AI의 Metis AI 처리 장치와 이 장치가 효율적인 엣지 AI 구현에 어떤 역할을 하는지 더 자세히 알아보겠습니다.
Axelera AI는 엣지 환경에서 AI 추론 속도를 높이기 위해 특별히 설계된 전용 하드웨어를 개발합니다. 이 중 핵심은 Metis AIPU(AI Processing Unit)로, 엣지 기기에서 신경망을 효율적으로 실행하도록 제작된 전용 프로세서입니다.
일반용 중앙처리장치(CPU)나 그래픽 처리 장치(GPU)와 달리, AIPU는 AI 워크로드의 특정한 연산 패턴을 처리하도록 설계되었습니다. 덕분에 높은 성능을 발휘하면서도 낮은 전력 소비를 유지할 수 있는데, 이는 자원이 종종 제한적인 엣지 환경에서 매우 중요한 요소입니다.
Axelera AI의 접근 방식이 특히 혁신적인 이유는 풀스택 설계에 있습니다. Metis는 엣지 컴퓨팅이 요구하는 에너지 효율성과 고성능을 모두 충족하기 위해 디지털 인메모리 컴퓨팅(D-IMC)과 RISC-V를 기반으로 구축되었습니다. Metis의 4개 코어는 각각 독립적으로 프로그래밍이 가능하므로, 칩당 4개의 모델을 병렬로 실행할 수 있습니다. 하드웨어 외에도 Voyager SDK에는 컴파일러와 런타임이 포함되어 있어, 이 두 구성 요소가 연동되어 배포를 위한 모델 최적화를 수행합니다.
이를 통해 개발자들은 훈련된 모델에서 실제 운영 환경에 바로 적용 가능한 추론 단계로 더욱 효율적으로 전환할 수 있습니다. 특히, Metis AIPU를 사용하면 기업, 소매, 의료, 제조 분야는 물론 농업 및 산업용 장비, 위성에 이르기까지 다양한 에지 디바이스에서 Ultralytics YOLO 같은 고급 컴퓨터 비전 모델을 직접 실행할 수 있습니다.
Ultralytics Python 다양한 컴퓨터 비전 작업에서 YOLO 훈련, 평가 및 배포하기 위한 통합 인터페이스를 제공합니다. YOLO 일반적으로 실험 및 모델 개발에 적합한 PyTorch 사용하여 개발 및 훈련됩니다.
하지만 이러한 모델을 전용 엣지 하드웨어에 배포할 때는 대상 기기에 최적화된 형식으로 변환해야 합니다. 바로 이때 Ultralytics Python 지원하는 내보내기 통합 기능이 유용하게 쓰입니다.
Ultralytics ONNX, TensorRT 및 기타 하드웨어 전용 백엔드와 같이 배포 대상에 따라 YOLO 다양한 형식으로 변환할 수 있는 폭넓은 내보내기 옵션을 Ultralytics . 이러한 통합 기능은 필요한 최적화 및 변환 단계를 자동으로 처리함으로써, 실제 애플리케이션에 모델을 적용하기 위한 준비 과정을 간소화합니다.
이를 바탕으로 Ultralytics Axelera AI와의 업데이트된 내보내기 연동 기능을 Ultralytics , YOLO Metis AIPU에 배포할 수 있도록 내보낼 수 있게 Ultralytics .
내보내기 과정에서 모델은 컴파일되어 Axelera 하드웨어에 맞게 특별히 설계된 최적화된 형식으로 양자화됩니다. 이 과정을 통해 ".axm" 형식의 컴파일된 모델과 함께 배포 및 추론에 필요한 메타데이터가 생성됩니다.
이 통합 솔루션은 다음과 같은 다양한 컴퓨터 비전 작업을 지원합니다. Ultralytics YOLOv8, Ultralytics YOLO11, 그리고 Ultralytics 모델을 지원하며, 여기에는 물체 탐지, 자세 추정, 인스턴스 분할, 방향성 바운딩 박스(OBB) 탐지 및 이미지 분류가 포함됩니다. 대부분의 작업은 내보내기 워크플로를 통해 직접 지원되지만, YOLO26 분할 기능은 Voyager SDK를 사용하는 모델 줌 (Model Zoo )을 통해 활용할 수 있습니다.
이러한 지원 확대를 통해 개발자들은 실시간 물체 탐지부터 장면 이해, 움직임 추적, 복잡한 시각 데이터 분석에 이르기까지, 애플리케이션의 특성에 따라 다양한 유형의 비전 모델을 유연하게 배포할 수 있게 되었습니다.
모델을 내보낸 후에는 추론 PyTorch 의존하지 않고도 배포 및 실행할 수 있습니다. 대신, Voyager SDK 런타임을 사용하여 실행되며, 이 런타임은 에지 디바이스에서 직접 비디오 처리, 실시간 탐지, 추적과 같은 작업을 위한 엔드투엔드 파이프라인 구축을 지원합니다.
새로운 내보내기 통합 기능에 대해 더 잘 이해했으니, 이제 Ultralytics YOLO 이 사용자 지정 형식으로 내보내고 엣지 환경의 Metis 하드웨어에서 실행하는 방법을 단계별로 살펴보겠습니다.
시작하려면 먼저 Ultralytics Python 설치해야 합니다. 이 패키지는 YOLO 훈련, 평가 및 내보내기를 위한 간단하고 일관된 인터페이스를 제공합니다.
터미널이나 명령 프롬프트에서 다음 명령어를 실행하여 pip를 통해 설치할 수 있습니다:
pip install ultralytics
설치나 내보내기 과정에서 문제가 발생하면, Ultralytics 공식 Ultralytics ‘일반적인 문제’ 가이드를 참고하여 문제를 해결하는 데 큰 도움이 될 것입니다.
Axelera 하드웨어에서 모델을 내보내고 실행하려면 Axelera 드라이버와 Voyager SDK도 설치해야 합니다. 이 단계를 통해 Metis AIPU와의 통신이 가능해지며, 필요한 런타임 및 컴파일러 도구가 제공됩니다.
아래 단계는 Axelera AI Metis 하드웨어에 접근할 수 있는 리눅스 환경에서 수행해야 합니다. 시스템에서 터미널을 열거나, 호환되는 로컬 환경에서 Jupyter Notebook을 실행 중인 경우 노트북 셀을 사용하여 아래 명령어를 실행하십시오.
먼저 다음과 같이 Axelera 저장소 키를 추가하세요:
sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"
다음으로, 아래와 같이 Axelera 저장소를 시스템에 추가하십시오:
sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"
그런 다음 Voyager SDK를 설치하고 다음과 같이 Metis 드라이버를 로드하십시오:
sudo apt update
sudo apt install -y metis-dkms=1.4.16
sudo modprobe metis
이 단계들이 완료되면, 시스템에서 Ultralytics YOLO 내보내 Axelera AI Metis 기기에서 실행할 준비가 됩니다.
Ultralytics 설치하면 YOLO 불러와 Metis용 컴파일된 패키지로 내보낼 수 있습니다. 이 과정을 통해 모델은 Axelera AI Metis 하드웨어에 배포하기에 최적화된 형식으로 변환됩니다.
아래 예제에서는 사전 훈련된 YOLO26 nano 모델을 사용하여 Metis용으로 내보냅니다. 내보낸 모델은 "/yolo26n_axelera_model"이라는 디렉터리에 저장됩니다.
from ultralytics YOLO
model = YOLO("yolo26n.pt")
model.export(format="axelera")
모델을 내보낸 후에는 이를 불러와 본 적이 없는 이미지나 비디오 스트림에 대해 추론 작업을 수행할 수 있습니다. 이를 통해 Axelera AI Metis 디바이스에서 직접 실시간 컴퓨터 비전 작업을 수행할 수 있습니다.
예를 들어, 아래 코드 예제는 내보낸 모델을 불러와 공개된 URL에서 추론을 실행하는 방법을 보여줍니다.
axelera_model = YOLO("yolo26n_axelera_model")
results = axelera_model("ultralytics", save=True)
이 경우, 모델은 입력 이미지를 분석하여 물체를 탐지하고, 그 결과를 "detect" 디렉터리에 저장합니다.
다음으로, 실제 환경에서 Axelera AI 하드웨어에 Ultralytics YOLO 적용할 수 있는 대표적인 엣지 AI 활용 사례 몇 가지를 살펴보겠습니다.
Axelera AI의 Metis AIPU는 임베디드 시스템과 산업용 PC부터 로봇 공학 및 엣지 서버에 이르기까지 다양한 배포 환경에 적합하도록 설계되었습니다. 고성능의 에너지 효율적인 추론 기능을 통해, 다양한 산업 분야에서 컴퓨터 비전 애플리케이션을 기기 내에서 직접 실행할 수 있게 해줍니다. 또한 Voyager SDK에는 머신러닝 및 애플리케이션 엔지니어가 엣지 환경을 위한 모델을 상용화할 수 있도록 지원하는 파이프라인 빌더가 포함되어 있습니다.
소매 업계에서 고객의 행동을 실시간으로 파악하는 것은 큰 차이를 만들 수 있습니다.
매장은 Axelera AI 하드웨어에서 구동되는 Ultralytics YOLO 활용해 실시간으로 매장 내 유동 인구를 모니터링하고, 인원을 집계하며, 이동 패턴을 분석할 수 있습니다. 모든 처리가 기기 내에서 이루어지기 때문에 클라우드 연결에 의존하지 않고도 즉시 인사이트를 도출할 수 있어, 데이터 프라이버시를 보호하면서도 팀이 더 신속하게 대응할 수 있도록 돕습니다.
전력선과 같은 대규모 인프라를 유지 관리하는 일은 복잡하고 많은 자원을 필요로 합니다. 이러한 네트워크는 대개 광범위한 지역에 걸쳐 있어 점검 작업에 많은 시간과 비용이 소요될 뿐만 아니라 잠재적인 위험도 수반합니다. 고장이나 초기 마모 징후가 발견되지 않으면 정전, 장비 손상 또는 안전 위험으로 이어질 수 있습니다.
드론은 검사 효율을 높이기 위해 점점 더 많이 활용되고 있습니다. 드론은 장거리를 이동할 수 있고, 접근하기 어려운 곳까지 갈 수 있으며, 중요 자산의 고해상도 영상을 촬영할 수 있습니다.
드론과 엣지 AI를 결합하면 이러한 워크플로우가 한층 더 향상됩니다. Axelera AI 하드웨어에서 구동되는 Ultralytics YOLO 점검 중 실시간 분석을 가능하게 하여, 현장에서 결함을 식별하고, 구성 요소를 분류하며, 이상 징후를 감지합니다. 이를 통해 수동 검토의 필요성을 줄이고, 더 빠르고 신뢰할 수 있는 인프라 모니터링을 지원합니다.
로봇 공학에서 속도와 반응성은 매우 중요합니다. 창고 내를 이동하든 변화무쌍한 산업 현장에서 작업하든, 로봇은 주변 환경을 즉각적으로 파악해야 합니다.
Axelera AI 하드웨어에서 구동되는 Ultralytics YOLO 통해 로봇은 장애물 감지부터 사람 추적 및 물체 식별에 이르기까지 주변 환경을 실시간으로 파악할 수 있습니다. 이를 통해 시스템은 더 안전하게 이동하고, 변화하는 환경에 적응하며, 지속적인 클라우드 연결에 의존하지 않고도 더 높은 수준의 자율성을 바탕으로 작동할 수 있습니다.
새로운 통합 기능을 통해 Axelera AI의 Metis 하드웨어에 Ultralytics YOLO 배포할 때 얻을 수 있는 주요 이점은 다음과 같습니다:
Ultralytics YOLO Axelera AI의 Metis AIPU를 활용하면 고성능 컴퓨터 비전 기술을 엣지 환경에 보다 쉽게 적용할 수 있습니다. 배포 과정을 간소화하고 특수 하드웨어에 맞게 모델을 최적화함으로써, 이번 통합은 개발 단계와 실제 적용 간의 격차를 해소하는 데 기여합니다.
엣지 AI가 지속적으로 성장함에 따라, 효율적이고 확장 가능한 배포 옵션을 확보하는 것이 반응성이 뛰어나고 신뢰할 수 있는 시스템을 구축하는 데 핵심이 될 것입니다. 이번 협력은 다양한 산업 분야에서 첨단 비전 AI를 보다 쉽게 활용할 수 있도록 하는 데 한 걸음 더 나아가는 것입니다.
AI에 대해 더 자세히 알고 싶으십니까? GitHub 저장소를 살펴보고, 커뮤니티에 참여하고, 라이선스 옵션을 확인하여 컴퓨터 비전 프로젝트를 시작하십시오. 리테일 분야의 AI 및 헬스케어 분야의 컴퓨터 비전과 같은 혁신이 어떻게 미래를 만들어 가고 있는지 알아보십시오.
미래의 머신러닝 여정을 시작하세요
