Ultralytics tại Arm Create 2026: AI thị giác thời gian thực tại edge

Ngày 11 tháng 9 năm 2026, Chuyên viên Marketing của chúng tôi, Ziyue Wang, và Kỹ sư Machine Learning Cấp cao Rick Hou đã tham dự Arm Create, sự kiện dành cho developer của Arm về xây dựng, tối ưu hóa và triển khai AI trên cloud, edge, thiết bị di động và hệ thống AI vật lý. Trọng tâm của chúng tôi là triển khai Ultralytics YOLO trên edge: cách đưa một model computer vision đã huấn luyện vào hoạt động theo thời gian thực trên thiết bị dựa trên Arm.

Sự kiện tại Thâm Quyến diễn ra sau điểm dừng trước đó ở Thượng Hải; cả hai cùng tìm hiểu một câu hỏi mà sớm muộn gì mọi developer AI cũng phải đối mặt: làm thế nào để biến một model có năng lực thành phần mềm hoạt động ổn định trong thực tế?

Sau đây là phần tổng kết phiên trình bày của chúng tôi, phiên thảo luận về model và cách Arm cùng Ultralytics đang hợp tác để giúp developer xây dựng trên Arm dễ dàng tiếp cận Ultralytics YOLO hơn.

Triển khai Ultralytics YOLO cho AI edge theo thời gian thực#

Kỹ sư Machine Learning cấp cao của chúng tôi, Rick Hou, đã trình bày “Triển khai Ultralytics YOLO: AI thị giác thời gian thực trên thiết bị biên,” một phiên thực tiễn về tối ưu hóa và triển khai các model Ultralytics YOLO trên thiết bị biên. Bài nói trình bày toàn bộ quy trình triển khai và chia sẻ kinh nghiệm từ các ứng dụng AI biên chạy Ultralytics YOLO trong môi trường production.

Hình 1. Rick từ Ultralytics trình bày về triển khai Ultralytics YOLO trên edge tại Arm Create.

Xuất model Ultralytics YOLO cho runtime edge#

Bước đầu tiên trong triển khai trên edge là xuất model đã huấn luyện sang định dạng được runtime mục tiêu hỗ trợ. Rick trình bày cách lựa chọn định dạng export phù hợp tùy thuộc vào thiết bị, inference engine và mục tiêu hiệu năng của ứng dụng.

Lượng tử hóa model để suy luận trên thiết bị nhanh hơn#

Lượng tử hóa giảm độ chính xác số học của model, chẳng hạn từ FP32 xuống FP16 hoặc INT8, giúp giảm kích thước model và tăng tốc suy luận, thường chỉ gây mất độ chính xác tối thiểu. Phiên trình bày giải thích cách cân bằng tốc độ và độ chính xác khi ngân sách tính toán, bộ nhớ và năng lượng bị hạn chế.

Đạt hiệu năng computer vision theo thời gian thực trên thiết bị edge#

Computer vision theo thời gian thực trên edge không chỉ phụ thuộc vào model. Tiền xử lý, lựa chọn runtime và tăng tốc phần cứng đều ảnh hưởng đến độ trễ và thông lượng. Rick chia sẻ cách xác định nút thắt cổ chai và tối ưu hóa toàn bộ pipeline suy luận.

Bài học từ các triển khai AI edge trong môi trường production#

Benchmark là điểm khởi đầu, nhưng phép thử thực sự là hiệu năng của model trên thiết bị sẽ được xuất xưởng, trong điều kiện vận hành thực tế. Xác thực trên phần cứng mục tiêu thực tế là một bài học quan trọng từ phiên trình bày và cũng là chủ đề xuyên suốt Arm Create.

Phiên thảo luận về model với Arm, Alibaba Qwen, Tencent và ModelBest#

Rick cũng tham gia phiên thảo luận về model với Arm, Alibaba Qwen, Tencent và ModelBest. Thay vì so sánh trực tiếp các model, phiên thảo luận tập trung vào mức độ phù hợp với ứng dụng: workload cần gì, nên chạy ở đâu và hoạt động ra sao sau khi triển khai.

Hình 2. Phiên thảo luận về model với Arm, Alibaba Qwen, Tencent, ModelBest và Ultralytics tại Arm Create.

Chọn model phù hợp với workload#

Tính năng trả lời nhanh trong ứng dụng di động, một cloud agent suy luận trên các tập tài liệu lớn và pipeline vision trên edge đều cần những model rất khác nhau. Với vai trò đại diện tiếng nói của vision AI trong phiên thảo luận, Rick mang đến góc nhìn về edge, nơi độ trễ, hiệu quả và độ tin cậy trên thiết bị thường quan trọng hơn kích thước model.

Arm AI Portal: Giúp developer dễ dàng tiếp cận Ultralytics YOLO hơn trên Arm#

Arm Create tại Thâm Quyến diễn ra chỉ vài ngày sau khi Arm ra mắt Arm AI Portal, một trung tâm giúp developer và AI agent tìm kiếm, tối ưu hóa và triển khai phần mềm AI trên nền tảng tính toán Arm. Developer có thể tìm các model được tối ưu hóa sẵn cho từng tác vụ, kèm dữ liệu về hiệu năng và độ chính xác; so sánh độ trễ, bộ nhớ và kích thước model; cũng như truy cập ví dụ mã và quy trình triển khai.

Các model Ultralytics YOLO được tối ưu hóa sẵn khi ra mắt#

Ultralytics YOLO nằm trong số các model được tối ưu hóa sẵn ngay khi ra mắt, bên cạnh Alibaba Qwen và Google Gemma; Ultralytics hỗ trợ portal với tư cách đối tác trong hệ sinh thái.

Mức tăng hiệu năng của Ultralytics YOLO26n trên Arm#

Kết quả ban đầu rất hứa hẹn. Ultralytics YOLO26n đạt mức cải thiện hiệu năng hơn 40% khi thực thi đơn luồng trong hai cấu hình:

• FP16 so với FP32 trên smartphone vivo X300 với SME2
• Lượng tử hóa hỗn hợp FP16 và INT8 so với FP32 trên Raspberry Pi 5 với NEON

Điều này có ý nghĩa gì với các nhà phát triển AI biên#

Arm AI Portal giúp giảm thời gian các nhà phát triển dành cho việc tìm kiếm, benchmark và tinh chỉnh model thủ công, tạo ra lộ trình nhanh hơn từ khâu chọn model đến triển khai trên phần cứng dựa trên Arm. Nền tảng này hỗ trợ sứ mệnh giúp mọi người dễ dàng tiếp cận và sử dụng AI thị giác tiên tiến nhất. Khám phá Ultralytics YOLO trên Arm AI Portal.

Điểm chính cần ghi nhớ#

Xin cảm ơn đội ngũ Arm đã đón tiếp chúng tôi và tất cả mọi người đã ghé qua trao đổi về triển khai trên thiết bị biên, lượng tử hóa và AI thị giác trong thực tế. Những cuộc trò chuyện tại Thâm Quyến cho thấy hệ sinh thái AI biên đang trưởng thành nhanh chóng như thế nào khi model, công cụ và phần cứng được thiết kế để hoạt động cùng nhau.

Sự kiện Arm Create tiếp theo sẽ diễn ra tại Mỹ, và chúng tôi mong muốn tiếp tục những cuộc trao đổi này. Trong thời gian chờ đợi, hãy truy cập tài liệu Ultralytics để bắt đầu triển khai Ultralytics YOLO trên các thiết bị biên của riêng bạn.