LiteRT에서 Ultralytics YOLO 내보내기

Ultralytics에서는 클라우드 연결에 의존하기보다 컴퓨터 비전 모델이 필요한 기기에서 직접 실행하려는 추세가 늘고 있습니다. 모바일 앱, 임베디드 시스템, IoT 센서, 브라우저 기반 도구들은 이제 로컬 환경, 특히 전력 및 컴퓨팅 리소스가 제한된 하드웨어에서 추론을 실행해야 할 필요성이 커지고 있습니다. 이러한 요구에 발맞춰 이제 Ultralytics YOLO 모델을 LiteRT로 직접 내보낼 수 있게 되었음을 알려드립니다.

이러한 수요를 충족하려면 개발자가 각 환경마다 별도의 내보내기 파이프라인을 유지할 필요 없이 모든 환경에서 사용할 수 있는 모델 형식이 필요합니다.

이 기능은 이전에도 비공식 타사 패키지를 통해 존재했지만, 이번 새로운 통합은 Google과의 공식적인 협업을 통해 이루어진 결과입니다. 저희는 LiteRT 팀과 긴밀히 협력하여 Ultralytics YOLO 모델을 LiteRT를 통해 TFLite로 내보내기 위한 엔드투엔드 파이프라인을 구축했습니다. 이 통합을 통해 하나의 내보낸 Ultralytics YOLO 모델을 모바일, 임베디드, 엣지 및 브라우저 환경 전반에 걸쳐 배포할 수 있으며, 이전에는 TFLite와 TF.js 내보내기 형식으로 각각 분리되어 처리되던 작업을 하나로 통합된 간소화된 형식으로 관리할 수 있습니다.

Link to this sectionLiteRT란 무엇인가요?#

LiteRT(Lite Runtime의 약자)는 온디바이스 AI를 위한 Google의 고성능 런타임입니다. 이는 TensorFlow Lite(TFLite)의 차세대 버전이자 새로운 명칭이며, 개발자들에게 이미 익숙한 동일한 .tflite 모델 형식을 실행합니다.

LiteRT는 엣지 컴퓨팅이라고도 불리는 온디바이스 추론을 위해 특별히 설계된 오픈 소스 프레임워크입니다. 이 프레임워크는 개발자에게 모바일, 임베디드 및 IoT 기기, 일반 컴퓨터뿐만 아니라 LiteRT.js를 통해 웹 브라우저와 Node.js에서 학습된 모델을 실행할 수 있는 도구를 제공합니다. LiteRT 내보내기 형식은 객체 탐지, 세그멘테이션, 포즈 추정 및 분류와 같은 작업을 위해 모델을 최적화하여 다양한 기기에서 빠르고 오프라인으로 실행되도록 합니다.

Link to this section왜 Ultralytics YOLO 모델을 LiteRT로 내보내야 하나요?#

이제 하나의 모델 형식이 모든 배포 대상을 지원합니다:

• 모바일 및 임베디드. Android, iOS, 데스크톱, 임베디드 Linux 및 마이크로컨트롤러(MCU).

• 엣지 가속기. 추가 가속을 위해 Coral Edge TPU와 호환됩니다.

• 브라우저 및 Node.js. LiteRT.js는 WebGPU/WASM 가속을 통해 웹에서 동일한 .tflite 모델을 실행하며, 별도의 TensorFlow.js 내보내기가 필요하지 않습니다.

• 데스크톱

이러한 통합은 프로덕션 배포 시 발생하는 실질적인 마찰을 제거하기 때문에 중요합니다. 팀은 모바일, 브라우저, 엣지 가속기를 위해 각각 별도의 내보내기 파이프라인을 유지하는 대신, 이제 한 번만 내보내어 LiteRT가 실행되는 모든 곳에 배포할 수 있습니다.

Link to this sectionLiteRT 모델의 주요 특징#

• 온디바이스 최적화. 데이터를 로컬에서 처리하여 지연 시간을 줄이고, 개인 데이터를 전송하지 않아 개인정보 보호를 강화하며, 모델 크기를 최소화하여 공간을 절약합니다.

• 다중 플랫폼 지원. Android, iOS, 임베디드 Linux, 마이크로컨트롤러 및 최신 웹 브라우저에서 실행됩니다.

• 하드웨어 가속. CPU의 XNNPACK과 OpenCL, Metal, WebGPU를 통한 GPU 가속을 활용합니다. GPU 가속은 추가 속도를 위해 기본적으로 FP16으로 실행됩니다.

• 양자화. FP32, 정적 INT8, 정적 INT16-activation 및 동적 INT8을 지원하여 정확도 손실을 최소화하면서 모델을 압축하고 추론 속도를 높입니다.

• 다양한 언어 지원. Java/Kotlin, Swift, Objective-C, C++, Python 및 JavaScript와 호환됩니다.

Link to this sectionLiteRT 내보내기 시작하기#

Ultralytics Python 패키지와 Ultralytics Platform은 5가지 모든 컴퓨터 비전 작업을 통틀어 YOLO 모델을 학습, 평가 및 배포하기 위한 완벽하고 통합된 환경을 제공합니다. LiteRT 내보내기 형식은 Export, Predict 및 Validate 모드를 지원하므로, 모델을 내보낸 후 즉시 로컬에서 추론이나 정확도 검증에 사용할 수 있습니다.

모델 내보내기는 단일 명령어로 수행됩니다:

from ultralytics import YOLO

\# Load a YOLO26 model
model \= YOLO("yolo26n.pt")

\# Export the model to LiteRT format
model.export(format="litert") \# creates 'yolo26n.tflite'

제한된 하드웨어에 배포하는 팀을 위해, LiteRT는 양자화된 내보내기도 지원하여 정확도 손실을 최소화하면서 더 빠른 추론을 위해 모델을 압축할 수 있습니다:

from ultralytics import YOLO

model \= YOLO("yolo26n.pt")

\# Dynamic INT8: int8 weights, FP32 activations \- no calibration data needed
model.export(format="litert", quantize="w8a32")

\# Static INT8: int8 weights \+ int8 activations \- needs calibration data
model.export(format="litert", quantize=8, data="coco8.yaml")

내보내기가 완료되면, 모델을 로드하여 추론을 직접 실행할 수 있습니다:

from ultralytics import YOLO

\# Load the exported LiteRT model
model \= YOLO("yolo26n.tflite")

\# Run inference
results \= model("https://ultralytics.com/images/bus.jpg")

LiteRT 내보내기는 현재 Linux x86_64 및 macOS에서 지원됩니다. 내보낸 .tflite 모델 자체는 모바일, 임베디드, 엣지 및 브라우저를 포함하여 LiteRT를 지원하는 모든 플랫폼에서 실행됩니다.

그림 1. ONNX와 LiteRT 간의 성능 비교.

위 이미지는 YOLO26n을 사용하여 탐지, 세그멘테이션, 포즈 추정의 평균 추론 시간을 비교한 것입니다. 이는 ONNX Runtime Web을 통해 WebGPU/WASM에서 클라이언트 측 추론을 수행하는 Ultralytics의 npm 패키지인 @ultralytics/yolo를 사용하여 브라우저에서 실행되었습니다. 2024 Apple MacBook Pro(Apple Silicon M4)의 제어된 브라우저 환경에서 벤치마킹되었습니다.

Link to this sectionUltralytics YOLO를 엣지로 가져오기#

LiteRT를 사용하면 Ultralytics YOLO 모델을 모바일, 임베디드, 엣지 및 브라우저 환경 전반에 배포할 때 각 대상마다 별도의 내보내기 파이프라인이 필요하지 않습니다. 한 번의 내보내기와 하나의 모델 형식으로, 추론이 필요한 곳 어디에서든 학습부터 프로덕션까지 일관된 경로를 보장합니다.

비전 AI에 대해 궁금하신가요? 라이선스 옵션을 확인하여 귀하의 프로젝트에 컴퓨터 비전을 도입해 보세요. GitHub 저장소를 방문하여 Ultralytics의 다양한 내보내기 통합 기능을 살펴보고, Ultralytics Platform을 확인하여 나만의 엔드투엔드 비전 AI 워크플로우를 구축해 보세요.