Xuất Ultralytics YOLO trên LiteRT

Tại Ultralytics, chúng tôi nhận thấy xu hướng ngày càng tăng trong việc chạy các computer vision models trực tiếp trên các thiết bị cần sử dụng, thay vì phụ thuộc vào kết nối đám mây. Các ứng dụng di động, hệ thống nhúng, cảm biến IoT và công cụ dựa trên trình duyệt ngày càng cần thực hiện inference cục bộ, thường trên phần cứng có giới hạn nghiêm ngặt về năng lượng và khả năng tính toán. Đó là lý do tại sao chúng tôi rất vui mừng thông báo rằng các mô hình Ultralytics YOLO giờ đây có thể được xuất trực tiếp sang LiteRT.

Để đáp ứng nhu cầu đó, cần một định dạng mô hình có thể hoạt động trên tất cả các môi trường này mà không bắt buộc các nhà phát triển phải duy trì các quy trình xuất riêng biệt cho từng môi trường.

Khả năng này trước đây đã tồn tại thông qua một gói bên thứ ba không chính thức, nhưng sự tích hợp mới này là kết quả của sự hợp tác chính thức với Google. Chúng tôi đã làm việc chặt chẽ với đội ngũ LiteRT để xây dựng quy trình end-to-end nhằm xuất các mô hình Ultralytics YOLO sang TFLite thông qua LiteRT. Với sự tích hợp này, một mô hình Ultralytics YOLO đã xuất có thể triển khai trên các môi trường di động, nhúng, edge và trình duyệt, hợp nhất những gì mà các định dạng xuất TFLite và TF.js cũ hơn trước đây phải xử lý riêng biệt thành một định dạng tinh gọn.

LiteRT là gì?#

LiteRT (viết tắt của Lite Runtime) là runtime hiệu suất cao của Google dành cho AI trên thiết bị. Đây là thế hệ tiếp theo và tên gọi mới của TensorFlow Lite (TFLite), chạy cùng định dạng mô hình .tflite mà các lập trình viên đã quen thuộc.

LiteRT là một framework mã nguồn mở được thiết kế đặc biệt cho inference trên thiết bị, còn được gọi là edge computing. Nó cung cấp cho các lập trình viên các công cụ để thực thi các mô hình đã huấn luyện trên thiết bị di động, nhúng và IoT, máy tính truyền thống và, thông qua LiteRT.js, chạy trực tiếp trong trình duyệt web và Node.js. Định dạng xuất LiteRT tối ưu hóa các mô hình cho các tác vụ như object detection, segmentation, pose estimation và classification để chúng chạy nhanh và ngoại tuyến trên nhiều loại thiết bị.

Tại sao nên xuất các mô hình Ultralytics YOLO sang LiteRT?#

Một định dạng mô hình duy nhất nay bao phủ mọi mục tiêu triển khai:

• Di động & nhúng. Android, iOS, Desktop, Linux nhúng và các vi điều khiển (MCU).

• Edge accelerators. Tương thích với Coral Edge TPU để tăng tốc hơn nữa.

• Trình duyệt & Node.js. LiteRT.js chạy cùng một mô hình .tflite trên web với khả năng tăng tốc WebGPU/WASM, thay thế nhu cầu cho một định dạng xuất TensorFlow.js riêng biệt.

• Desktop

Sự hợp nhất này rất quan trọng vì nó loại bỏ một nguồn ma sát thực sự trong các triển khai production. Thay vì phải duy trì một quy trình xuất cho di động, một quy trình cho trình duyệt và một quy trình thứ ba cho bộ tăng tốc edge, các nhóm giờ đây có thể xuất một lần và triển khai ở mọi nơi LiteRT có thể chạy.

Các tính năng chính của mô hình LiteRT#

• Tối ưu hóa trên thiết bị. Giảm độ trễ bằng cách xử lý dữ liệu cục bộ, tăng cường quyền riêng tư bằng cách không truyền tải dữ liệu cá nhân và giảm thiểu kích thước mô hình để tiết kiệm không gian.

• Hỗ trợ đa nền tảng. Chạy trên Android, iOS, Linux nhúng, vi điều khiển và các trình duyệt web hiện đại.

• Tăng tốc phần cứng. Tận dụng XNNPACK trên CPU và tăng tốc GPU thông qua OpenCL, Metal và WebGPU. Tăng tốc GPU mặc định chạy ở chế độ FP16 để đạt tốc độ cao hơn.

• Lượng tử hóa (Quantization). Hỗ trợ FP32, INT8 tĩnh, INT16-activation tĩnh và INT8 động để nén mô hình và tăng tốc suy luận với độ chính xác giảm thiểu tối đa.

• Hỗ trợ đa ngôn ngữ. Tương thích với Java/Kotlin, Swift, Objective-C, C++, Python và JavaScript.

Bắt đầu với việc xuất LiteRT#

Ultralytics Python package và Ultralytics Platform cung cấp một môi trường hoàn chỉnh, thống nhất để huấn luyện, đánh giá và triển khai các mô hình YOLO trên cả năm tác vụ computer vision. Định dạng xuất LiteRT hỗ trợ các chế độ Export, Predict và Validate, nhờ đó mô hình có thể được xuất và ngay lập tức sử dụng cho inference hoặc kiểm tra độ chính xác cục bộ.

Việc xuất một mô hình chỉ cần một lệnh duy nhất:

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to LiteRT format
model.export(format="litert") # creates 'yolo26n.tflite'

Đối với các nhóm triển khai trên phần cứng bị hạn chế, LiteRT cũng hỗ trợ xuất đã lượng tử hóa, cho phép nén mô hình để suy luận nhanh hơn với độ chính xác giảm thiểu tối đa:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Dynamic INT8: int8 weights, FP32 activations - no calibration data needed
model.export(format="litert", quantize="w8a32")

# Static INT8: int8 weights + int8 activations - needs calibration data
model.export(format="litert", quantize=8, data="coco8.yaml")

Sau khi xuất, mô hình có thể được tải và chạy để suy luận trực tiếp:

from ultralytics import YOLO

# Load the exported LiteRT model
model = YOLO("yolo26n.tflite")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

Xuất LiteRT hiện được hỗ trợ trên Linux x86_64 và macOS. Bản thân mô hình .tflite đã xuất có thể chạy trên mọi nền tảng được LiteRT hỗ trợ, bao gồm di động, nhúng, edge và trình duyệt.

Hình 1. So sánh hiệu suất giữa ONNX và LiteRT.

Hình ảnh trên thể hiện sự so sánh về thời gian inference trung bình cho các tác vụ detection, segmentation và pose estimation trên YOLO26n, chạy trong trình duyệt thông qua @ultralytics/yolo, gói npm của Ultralytics dành cho inference phía máy khách trên WebGPU/WASM qua ONNX Runtime Web. Được benchmark trên Apple MacBook Pro 2024 (Apple Silicon M4) trong một môi trường trình duyệt được kiểm soát.

Đưa Ultralytics YOLO ra biên (edge)#

Với LiteRT, việc triển khai các mô hình Ultralytics YOLO trên môi trường di động, nhúng, edge và trình duyệt không còn yêu cầu các quy trình xuất riêng biệt cho từng mục tiêu. Một lần xuất, một định dạng mô hình và một lộ trình nhất quán từ huấn luyện đến production, bất kể suy luận cần diễn ra ở đâu.

Bạn quan tâm đến vision AI? Hãy khám phá các licensing options của chúng tôi để đưa computer vision vào các dự án của bạn. Truy cập GitHub repository của chúng tôi để khám phá toàn bộ các tích hợp xuất của Ultralytics, và xem qua Ultralytics Platform để bắt đầu xây dựng các quy trình làm việc vision AI đầu cuối của riêng bạn.