Scaleout cắt giảm thời gian cập nhật model từ hàng tuần xuống còn vài giờ với Ultralytics YOLO

Việc huấn luyện các mô hình học máy thường giả định rằng bạn có thể tập hợp tất cả dữ liệu vào một nơi, gửi lên đám mây và triển khai một mô hình đã hoàn thiện. Trong nhiều bối cảnh thực tế, giả định đó không còn đúng nữa. Trong các môi trường quốc phòng, công nghiệp và các môi trường được quản lý chặt chẽ, dữ liệu bị ràng buộc tại vị trí lưu trữ do luật bảo mật, phân loại an ninh hoặc chi phí băng thông quá lớn, và mạng kết nối giữa các vị trí đó không phải lúc nào cũng đáng tin cậy.

Scaleout xây dựng hạ tầng chính xác cho những điều kiện này. Nền tảng của họ, Scaleout Edge, sử dụng học liên kết (federated learning) để mang việc huấn luyện mô hình đến nơi chứa dữ liệu, thay vì di chuyển dữ liệu đến mô hình. Đối với các dự án thị giác máy tính, Scaleout huấn luyện tùy chỉnh và tinh chỉnh các mô hình Ultralytics YOLO trên Vision Ground Nodes, các trạm biên được tăng tốc bằng GPU triển khai tại mỗi địa điểm, nhờ đó khả năng phát hiện liên tục được cải thiện tại thực địa mà các hình ảnh nhạy cảm không bao giờ rời khỏi thiết bị.

Link to this sectionMang học máy đến nơi lưu trữ dữ liệu#

Được thành lập vào năm 2018 bởi các nhà nghiên cứu từ Đại học Uppsala chuyên về các hệ thống phân tán quy mô lớn, Scaleout bắt đầu với mục tiêu hiện thực hóa học máy ở những nơi dữ liệu không thể tập trung hóa. Trọng tâm của họ là các ngữ cảnh mà việc tập hợp dữ liệu vào một nơi là khó khăn hoặc bất khả thi, và học liên kết là cơ chế cốt lõi giúp vận hành điều này.

Học liên kết phân tán việc huấn luyện trên nhiều thiết bị, sau đó thu thập các bản cập nhật mô hình của chúng vào một mặt phẳng điều khiển trung tâm để tổng hợp thành một mô hình toàn cầu mới. Mỗi thiết bị được hưởng lợi từ việc hiểu rõ môi trường cục bộ của chính nó, trong khi toàn bộ đội ngũ thiết bị được hưởng lợi từ trí tuệ tập thể. Dữ liệu vẫn nằm đúng vị trí của nó và chỉ những gì mô hình đã học được mới được truyền đi.

Công việc của Scaleout trải dài trên các lĩnh vực quốc phòng, công nghiệp, vận tải và các ngành được quản lý khác, bao gồm các hoạt động như chương trình tăng tốc NATO DIANA và hợp tác với BAE Systems. Trên tất cả các lĩnh vực đó, mô hình này đều nhất quán: dữ liệu không thể di chuyển và các mô hình vẫn cần được cải thiện.

Link to this sectionNhững thách thức của học máy tại biên#

Dưới đây là cái nhìn sâu hơn về những hạn chế mà Scaleout phải đối mặt khi huấn luyện mô hình tại thực địa:

• Phần cứng hạn chế: Việc triển khai tại thực địa không có các máy chủ trung tâm dữ liệu, chỉ có các thiết bị nhỏ, tiêu thụ điện năng thấp như máy tính trên máy bay không người lái. Việc chạy một mô hình đã hoàn thiện trên đó là khả thi, nhưng việc huấn luyện lại đòi hỏi tài nguyên tính toán lớn hơn nhiều.

• Dữ liệu khóa trong thiết bị: Những thước phim cần thiết cho việc huấn luyện lại thường là tài sản độc quyền và không thể gửi đến máy chủ trung tâm, vì vậy mô hình phải học từ dữ liệu chưa bao giờ rời khỏi biên.

• Không có chuyên gia tại chỗ: Những người vận hành thu thập dữ liệu tại thực địa hiếm khi là các kỹ sư học máy, vì vậy việc huấn luyện lại không thể phụ thuộc vào sự hiện diện của chuyên gia khoa học dữ liệu.

• Điều kiện luôn thay đổi: Môi trường thực địa thay đổi nhanh chóng, vì vậy mô hình phải được cập nhật liên tục thay vì dựa trên các chu kỳ huấn luyện lại định kỳ chậm chạp.

Link to this sectionTinh chỉnh các mô hình Ultralytics YOLO tại biên#

Để xử lý những hạn chế này, Scaleout đã xây dựng một vòng lặp huấn luyện chạy hoàn toàn tại thực địa, với các mô hình Ultralytics YOLO là trung tâm.

Tại mỗi địa điểm, Vision Ground Node - một trạm biên được tăng tốc bằng GPU với khả năng tính toán và lưu trữ riêng - được đặt cùng với một đội máy bay không người lái. Khi máy bay không người lái ghi lại dữ liệu, nút này chọn ra các khung hình hữu ích nhất, người vận hành dán nhãn chúng, và mô hình YOLO được tinh chỉnh trên chính phần cứng cục bộ đó.

Sau một vài epoch huấn luyện, chỉ mô hình đã cập nhật được gửi lại về mặt phẳng điều khiển, không bao giờ gửi dữ liệu thô. Vòng lặp này được cung cấp thông qua mô-đun thị giác của Scaleout, một phần mở rộng của nền tảng Scaleout Edge giúp đóng gói các công cụ mà một dự án thị giác máy tính cần thành một gói duy nhất.

Nó kết hợp việc chọn khung hình, chú thích, huấn luyện và triển khai, với Ultralytics YOLO xử lý khâu phát hiện, để các đội ngũ có thể xây dựng dựa trên một nền tảng làm việc hiệu quả thay vì phải tự lắp ghép các mảnh ghép này.

Scaleout lần đầu tiên đưa cách tiếp cận này vào thực tế trong chương trình tăng tốc NATO DIANA, sử dụng YOLOv8 để tinh chỉnh khả năng phát hiện dựa trên dữ liệu thu thập tại thực địa. Dữ liệu đó không thể di chuyển qua các mạng lưới thực địa hoặc tập trung hóa vì lý do bảo mật quyền sở hữu, vì vậy nhóm đã phân tán quá trình tinh chỉnh, cho phép mô hình học từ các ví dụ mới tại chỗ.

Vòng lặp này cũng được thiết kế cho người vận hành thay vì các nhà khoa học dữ liệu. Hệ thống hướng dẫn một người không chuyên xem xét và dán nhãn các khung hình quan trọng, giúp những người làm việc tại thực địa có thể tự cải thiện mô hình.

Các công cụ hỗ trợ phản ánh điều này, với phiên bản mã nguồn mở của Label Studio cho việc chú thích, một máy chủ truyền phát dữ liệu để nhận các luồng từ máy bay không người lái, và gói Ultralytics Python để tinh chỉnh. Tất cả chạy trên phần cứng đa dạng từ các mô-đun NVIDIA Jetson đến một thiết bị thực địa bền bỉ hoặc máy tính xách tay, tùy thuộc vào việc triển khai.

Link to this sectionTại sao lại chọn các mô hình Ultralytics YOLO?#

Đối với Scaleout, ưu điểm lớn nhất của Ultralytics YOLO là sự nhẹ nhàng của các mô hình, điều này giúp cho việc huấn luyện liên kết qua các kết nối yếu trở nên khả thi. Thay vì di chuyển dữ liệu thô, Scaleout chỉ di chuyển bản cập nhật mô hình. Mô hình họ sử dụng nhiều nhất, Ultralytics YOLOv8 nano, chỉ khoảng 10.7 MB, vì vậy một bản cập nhật đầy đủ là một gói dữ liệu nhỏ để gửi đi, ngay cả khi băng thông khan hiếm.

Gói Ultralytics Python cũng cung cấp cho các kỹ sư của Scaleout sự linh hoạt để huấn luyện và triển khai trên nhiều phần cứng khác nhau. Mô hình YOLOv8 nano nhỏ gọn chạy thoải mái trên các thiết bị biên bị hạn chế tài nguyên, trong khi các tùy chọn xuất của gói này hỗ trợ triển khai trên các môi trường khác nhau mà Scaleout đang vận hành. Vì các mô hình rất dễ tinh chỉnh, các đội ngũ có thể lặp lại nhanh chóng khi điều kiện thực địa thay đổi.

Link to this sectionUltralytics YOLO giúp Scaleout cập nhật mô hình nhanh hơn#

Với Ultralytics YOLO, phần nặng nề nhất của công việc vẫn nằm trên thiết bị. Việc huấn luyện chạy trên hàng trăm gigabyte dữ liệu thực địa, nhưng thứ thực sự được truyền đi là một mô hình khoảng 10 MB. Điều đó dẫn đến mức giảm khoảng mười lần lượng dữ liệu cần di chuyển, điều này giúp việc huấn luyện liên kết trở nên khả thi qua các mạng lưới hạn chế mà các hệ thống này dựa vào.

Cách tiếp cận này cũng thay đổi tốc độ đưa một mô hình cải tiến trở lại thực địa. Những gì trước đây có thể mất hàng tuần hoặc hàng tháng để thu thập dữ liệu, vận chuyển đến nơi tập trung, huấn luyện lại và triển khai lại, nay được rút gọn xuống còn vài ngày và vài giờ khi vòng lặp chạy ngay tại biên.

Điều này thể hiện rõ nhất trong các công việc liên quan đến máy bay không người lái của Scaleout. Trong trinh sát quốc phòng, máy bay không người lái bay theo mô hình tìm kiếm và sử dụng mô hình Ultralytics YOLO trên bo mạch để phát hiện, nhận dạng và định vị địa lý các đối tượng quan tâm trong thời gian thực, với tất cả quá trình xử lý được thực hiện trên máy tính của chính máy bay thay vì gửi đi phân tích ở nơi khác.

Khi máy bay không người lái thu thập dữ liệu mới, dữ liệu đó được đưa vào một Vision Ground Node, nơi YOLO được tinh chỉnh trên các khung hình mới, và một mô hình cập nhật được đẩy ngược lại, tất cả mà không bao giờ cần di chuyển dữ liệu ra khỏi địa điểm. Các mô hình phát hiện phải theo kịp các điều kiện thay đổi nhanh chóng và dữ liệu không thể di chuyển, và một mô hình được huấn luyện lại tại chỗ sẽ luôn hữu ích hơn một mô hình tĩnh được huấn luyện tập trung.

Hình 1. Một ví dụ về cách Scaleout và Ultralytics YOLO hỗ trợ máy bay không người lái AI (Nguồn)

Mô hình tương tự mở rộng vượt xa khỏi máy bay không người lái. Trong các môi trường công nghiệp như các cơ sở năng lượng và các cơ sở từ xa, nơi dữ liệu tại mỗi vị trí đều nhạy cảm, nền tảng này cải thiện các mô hình phát hiện trên nhiều địa điểm mà không có bất kỳ dữ liệu thô nào vượt quá ranh giới cơ sở. Cho dù dữ liệu nằm trên máy bay không người lái hay một cơ sở cố định, Scaleout giữ nguyên dữ liệu tại chỗ và chỉ di chuyển những gì mô hình đã học được.

Link to this sectionXây dựng AI thích ứng cho các môi trường nơi dữ liệu không thể di chuyển#

Khi Scaleout phát triển, họ tiếp tục mở rộng thị giác máy tính dựa trên biên và liên kết của mình sang nhiều môi trường và phần cứng hơn. Các mô-đun được xây dựng sẵn của họ được thiết kế để nén quá trình tích hợp từ hàng tháng xuống còn vài ngày, vì vậy khách hàng có thể mang phần cứng của riêng họ và áp dụng vòng lặp học tập thích ứng mà không cần phải xây dựng lại mã học máy cơ bản.

Với Ultralytics YOLO là cốt lõi của đường ống phát hiện, Scaleout đang hiện thực hóa việc huấn luyện và cải thiện AI trong chính các môi trường mà các phương pháp truyền thống không đáp ứng được, giữ dữ liệu tại chỗ, duy trì khả năng hoạt động khi mạng lưới gặp sự cố và biến các đội ngũ thiết bị biên thành một hệ thống liên tục học tập như một thể thống nhất.

Bạn đã sẵn sàng khám phá những gì Vision AI có thể làm cho bạn? Hãy truy cập kho lưu trữ GitHub của chúng tôi để khám phá cách các mô hình YOLO đang chuyển đổi các lĩnh vực như AI trong sản xuất và thị giác máy tính trong robot. Xem qua các tùy chọn cấp phép của chúng tôi và bắt đầu hành trình hướng tới tự động hóa thông minh hơn.