Bằng cách fine-tune các model Ultralytics YOLO trên thiết bị edge, Scaleout giữ dữ liệu tại chỗ, hoạt động offline và đưa các model detection mới vào vận hành trong vài giờ thay vì vài tuần.
Việc training các model machine learning thường giả định rằng bạn có thể tập trung toàn bộ dữ liệu vào một nơi, gửi dữ liệu lên cloud và triển khai một model hoàn chỉnh. Trong nhiều bối cảnh thực tế, giả định đó không đúng. Trong các môi trường quốc phòng, công nghiệp và chịu sự quản lý nghiêm ngặt, dữ liệu bị ràng buộc tại vị trí của nó bởi luật bảo mật, cấp độ phân loại an ninh hoặc chi phí băng thông quá cao; hơn nữa, mạng kết nối các vị trí đó không phải lúc nào cũng đáng tin cậy.
Scaleout xây dựng hạ tầng dành chính xác cho những điều kiện này. Nền tảng Scaleout Edge sử dụng federated learning để đưa quá trình training model đến nơi dữ liệu tồn tại, thay vì di chuyển dữ liệu đến model. Đối với các dự án computer vision, Scaleout custom-train và fine-tune các model Ultralytics YOLO trên Vision Ground Node — các trạm edge được tăng tốc bằng GPU và triển khai tại từng địa điểm — để khả năng detection tiếp tục được cải thiện trong thực tế mà hình ảnh nhạy cảm không bao giờ rời khỏi thiết bị.
Đưa machine learning đến nơi dữ liệu tồn tại#
Được thành lập vào năm 2018 bởi các nhà nghiên cứu từ Đại học Uppsala chuyên về các hệ thống phân tán quy mô lớn, Scaleout hướng đến việc giúp machine learning khả thi trong những nơi dữ liệu không thể được tập trung. Công ty tập trung vào các bối cảnh mà việc tập hợp dữ liệu tại một nơi khó khăn hoặc bất khả thi, trong đó federated learning là cơ chế cốt lõi giúp mô hình này hoạt động.
Federated learning phân tán quá trình training trên nhiều thiết bị, sau đó thu thập các bản cập nhật model của chúng vào một control plane trung tâm để tổng hợp thành một global model mới. Mỗi thiết bị được hưởng lợi từ việc hiểu môi trường cục bộ của mình, trong khi toàn bộ hệ thống được hưởng lợi từ trí tuệ tập thể. Dữ liệu vẫn ở đúng nơi cần thiết, và chỉ những gì model đã học được mới được truyền đi.
Hoạt động của Scaleout trải rộng trong các lĩnh vực quốc phòng, công nghiệp, giao thông vận tải và các ngành chịu sự quản lý nghiêm ngặt khác, bao gồm những chương trình như chương trình tăng tốc NATO DIANA và hoạt động hợp tác với BAE Systems. Trong tất cả các lĩnh vực đó, mô hình đều giống nhau: dữ liệu không thể di chuyển, nhưng model vẫn cần được cải thiện.
Những phức tạp của machine learning trên edge#
Dưới đây là cái nhìn chi tiết hơn về các giới hạn mà Scaleout gặp phải khi training model trong thực tế:
-
Phần cứng hạn chế: Các hệ thống triển khai ngoài thực địa không có server trung tâm dữ liệu, mà chỉ có những thiết bị nhỏ, tiêu thụ ít điện năng, chẳng hạn như máy tính trên drone. Việc chạy một model đã hoàn thiện trên các thiết bị này là khả thi, nhưng retrain model đòi hỏi năng lực tính toán lớn hơn nhiều.
-
Dữ liệu bị khóa trên thiết bị: Video cần cho việc retrain thường là dữ liệu độc quyền và không thể gửi đến server trung tâm, vì vậy model phải học từ dữ liệu không bao giờ rời khỏi edge.
-
Không có chuyên gia tại chỗ: Những operator thu thập dữ liệu ngoài thực địa hiếm khi là kỹ sư machine learning, vì vậy việc retrain không thể phụ thuộc vào sự hiện diện của chuyên gia data science.
-
Điều kiện liên tục thay đổi: Môi trường thực địa thay đổi nhanh chóng, vì vậy model phải được cập nhật liên tục thay vì trải qua các chu kỳ retrain định kỳ nhưng chậm.
Fine-tune các model Ultralytics YOLO trên edge#
Để hoạt động trong những giới hạn này, Scaleout đã xây dựng một training loop chạy hoàn toàn ngoài thực địa, với các model Ultralytics YOLO làm trung tâm.
Tại mỗi địa điểm, một Vision Ground Node — trạm edge được tăng tốc bằng GPU, có năng lực tính toán và bộ nhớ riêng — hoạt động cùng với một đội drone. Khi drone ghi hình, node sẽ chọn những frame hữu ích nhất, operator gắn nhãn cho chúng, rồi model YOLO được fine-tune trên phần cứng cục bộ đó.
Sau một vài epoch training, chỉ model đã cập nhật được gửi về control plane, tuyệt đối không gửi video gốc. Quy trình này được cung cấp thông qua vision module của Scaleout, một phần mở rộng của nền tảng Scaleout Edge, đóng gói các công cụ cần thiết cho một dự án computer vision thành một package duy nhất.
Module này kết hợp việc chọn frame, annotation, training và deployment, trong đó Ultralytics YOLO đảm nhiệm detection, để các team có thể xây dựng trên một nền tảng đang hoạt động thay vì tự lắp ghép các thành phần này.
Scaleout lần đầu áp dụng phương pháp này trong chương trình tăng tốc NATO DIANA, sử dụng YOLOv8 để fine-tune khả năng detection trên dữ liệu thu thập ngoài thực địa. Dữ liệu đó không thể được truyền qua các mạng thực địa hoặc tập trung vì lý do độc quyền, nên team đã phân tán quy trình fine-tune, cho phép model học từ các ví dụ mới tại cục bộ.
Quy trình này cũng được xây dựng cho operator thay vì data scientist. Hệ thống hướng dẫn người không chuyên xem xét và gắn nhãn các frame quan trọng, để những người làm việc ngoài thực địa có thể tự mình tiếp tục cải thiện model.
Các công cụ hỗ trợ cũng phản ánh mục tiêu này, gồm phiên bản mã nguồn mở của Label Studio cho annotation, một streaming server để tiếp nhận các luồng video từ drone và package Ultralytics Python cho việc fine-tune. Tất cả đều chạy trên phần cứng trải dài từ các module NVIDIA Jetson đến một thiết bị thực địa chắc chắn hoặc laptop, tùy theo hệ thống triển khai.
Tại sao chọn các model Ultralytics YOLO?#
Đối với Scaleout, ưu điểm lớn nhất của Ultralytics YOLO là các model có trọng lượng nhẹ, nhờ đó federated training qua các kết nối kém trở nên thực tế. Thay vì di chuyển dữ liệu gốc, Scaleout chỉ di chuyển bản cập nhật model. Model được sử dụng nhiều nhất, Ultralytics YOLOv8 nano, có dung lượng khoảng 10,7 MB, vì vậy một bản cập nhật đầy đủ chỉ là một package nhỏ cần gửi đi, ngay cả khi băng thông khan hiếm.
Package Ultralytics Python cũng mang lại cho các kỹ sư của Scaleout sự linh hoạt để training và deployment trên nhiều loại phần cứng. Model YOLOv8 nano nhỏ gọn chạy ổn định trên các thiết bị edge có tài nguyên hạn chế, trong khi các tùy chọn export của package hỗ trợ deployment trên những môi trường khác nhau mà Scaleout sử dụng. Vì các model dễ fine-tune, các team có thể lặp nhanh khi điều kiện thực địa thay đổi.
Ultralytics YOLO giúp Scaleout cập nhật model nhanh hơn#
Với Ultralytics YOLO, phần nặng nhất của công việc vẫn được thực hiện trên thiết bị. Quá trình training xử lý hàng trăm gigabyte video thực địa, nhưng thứ thực sự được truyền đi chỉ là một model khoảng 10 MB. Điều đó giúp giảm khoảng mười lần lượng dữ liệu cần di chuyển, nhờ vậy federated training có thể hoạt động trên các mạng hạn chế mà những hệ thống triển khai này phụ thuộc vào.
Phương pháp này cũng thay đổi tốc độ đưa một model đã cải thiện trở lại thực địa. Quy trình vốn có thể mất vài tuần hoặc vài tháng — thu thập dữ liệu, gửi dữ liệu đến một địa điểm trung tâm, retrain và redeploy — được rút ngắn xuống còn vài ngày hoặc vài giờ khi loop chạy trên edge.
Điều này thể hiện rõ nhất trong hoạt động drone của Scaleout. Trong nhiệm vụ trinh sát quốc phòng, drone bay theo một lộ trình tìm kiếm và sử dụng model Ultralytics YOLO trên thiết bị để detection, nhận dạng và xác định vị trí địa lý của các đối tượng quan tâm theo thời gian thực; toàn bộ quá trình xử lý được thực hiện trên máy tính của chính drone thay vì gửi đi để phân tích.
Khi các drone thu thập video mới, dữ liệu đó được đưa vào Vision Ground Node, nơi YOLO được fine-tune trên các frame mới, rồi model đã cập nhật được đẩy trở lại — tất cả đều không cần video rời khỏi địa điểm. Các model detection phải theo kịp những điều kiện thay đổi nhanh chóng và dữ liệu không thể di chuyển; một model được retrain tại cục bộ vẫn duy trì tính hữu ích, trong khi model tĩnh được training tập trung sẽ nhanh chóng tụt hậu.
Hình 1. Ví dụ về cách Scaleout và Ultralytics YOLO hỗ trợ các drone AI (Nguồn)
Mô hình tương tự cũng mở rộng vượt xa lĩnh vực drone. Trong các môi trường công nghiệp như cơ sở năng lượng và cơ sở từ xa, nơi dữ liệu của từng địa điểm đều nhạy cảm, nền tảng cải thiện các model detection trên nhiều địa điểm mà không để dữ liệu gốc vượt qua ranh giới của bất kỳ cơ sở nào. Dù dữ liệu nằm trên drone hay trong một hệ thống cố định, Scaleout vẫn giữ video tại chỗ và chỉ di chuyển những gì model đã học được.
Xây dựng AI thích ứng cho các môi trường nơi dữ liệu không thể di chuyển#
Khi Scaleout phát triển, công ty tiếp tục mở rộng computer vision dựa trên edge và federated learning sang nhiều bối cảnh và phần cứng hơn. Các module dựng sẵn được thiết kế để rút ngắn quá trình tích hợp kéo dài hàng tháng xuống còn vài ngày, nhờ đó khách hàng có thể sử dụng phần cứng của riêng mình và áp dụng vòng lặp học thích ứng mà không cần xây dựng lại code machine learning nền tảng.
Với Ultralytics YOLO làm cốt lõi cho pipeline detection, Scaleout đang giúp việc training và cải thiện AI trở nên khả thi ngay trong những môi trường mà các phương pháp truyền thống không đáp ứng được: giữ dữ liệu tại chỗ, duy trì hoạt động khi mạng gặp sự cố và biến các đội thiết bị edge thành một hệ thống cùng nhau liên tục học hỏi.
Bạn đã sẵn sàng khám phá những gì Vision AI có thể mang lại cho mình chưa? Hãy truy cập repository GitHub của chúng tôi để tìm hiểu cách các model YOLO đang chuyển đổi những lĩnh vực như AI trong sản xuất và computer vision trong robotics. Xem các tùy chọn cấp phép của chúng tôi và bắt đầu hành trình hướng tới tự động hóa thông minh hơn.
