Distributed Training
Khám phá cách distributed training mở rộng workload AI trên nhiều GPU. Tìm hiểu cách tăng tốc quá trình training Ultralytics YOLO26 bằng DDP để có kết quả nhanh và chính xác hơn.
Huấn luyện phân tán là một phương pháp trong machine learning, trong đó workload huấn luyện một model được phân chia trên nhiều bộ xử lý hoặc máy. Cách tiếp cận này rất cần thiết để xử lý các dataset quy mô lớn và các kiến trúc neural network phức tạp, vốn sẽ mất khoảng thời gian không thực tế nếu huấn luyện trên một thiết bị duy nhất. Bằng cách tận dụng năng lực tính toán kết hợp của nhiều Bộ xử lý đồ họa (GPUs) hoặc Bộ xử lý Tensor (TPUs), huấn luyện phân tán tăng tốc đáng kể chu kỳ phát triển, cho phép các nhà nghiên cứu và kỹ sư lặp nhanh hơn và đạt độ chính xác cao hơn cho các model của họ.
Cách hoạt động của Huấn luyện phân tán#
Ý tưởng cốt lõi đằng sau huấn luyện phân tán là song song hóa. Thay vì xử lý dữ liệu tuần tự trên một chip, tác vụ được chia thành các phần nhỏ hơn để xử lý đồng thời. Có hai chiến lược chính để thực hiện việc này:
- Song song hóa dữ liệu: Đây là cách tiếp cận phổ biến nhất cho các tác vụ như phát hiện đối tượng. Trong thiết lập này, một bản sao của toàn bộ model được đặt trên mỗi thiết bị. Dữ liệu huấn luyện toàn cục được chia thành các batch nhỏ hơn và mỗi thiết bị xử lý một batch khác nhau cùng lúc. Sau mỗi bước, các gradient (các cập nhật cho model) được đồng bộ hóa trên tất cả thiết bị để đảm bảo trọng số model luôn nhất quán.
- Song song hóa model: Khi một mạng neural (NN) quá lớn, không thể vừa trong bộ nhớ của một GPU duy nhất, bản thân model sẽ được chia trên nhiều thiết bị. Các layer hoặc thành phần khác nhau của model nằm trên các chip khác nhau và dữ liệu được truyền giữa chúng. Điều này thường cần thiết để huấn luyện các model nền tảng khổng lồ và mô hình ngôn ngữ lớn (LLMs).
Các ứng dụng trong thực tế#
Huấn luyện phân tán đã chuyển đổi nhiều ngành bằng cách giúp giải quyết những bài toán trước đây không khả thi về mặt tính toán.
- Lái xe tự hành: Phát triển phương tiện tự hành an toàn đòi hỏi phân tích hàng petabyte dữ liệu video và cảm biến. Các kỹ sư ô tô sử dụng các cluster phân tán lớn để huấn luyện các model thị giác cho phân đoạn ngữ nghĩa theo thời gian thực và phát hiện làn đường. Quy mô lớn này đảm bảo các hệ thống AI trong ngành ô tô có thể phản ứng đáng tin cậy trước nhiều điều kiện đường sá khác nhau.
- Chẩn đoán hình ảnh y tế: Trong lĩnh vực chăm sóc sức khỏe, việc phân tích các ảnh chụp 3D độ phân giải cao như MRI đòi hỏi đáng kể bộ nhớ và năng lực xử lý. Huấn luyện phân tán cho phép các nhà nghiên cứu xây dựng các công cụ chẩn đoán hiệu năng cao để phát hiện khối u và thực hiện các tác vụ quan trọng khác. Bằng cách sử dụng các framework như NVIDIA MONAI, bệnh viện có thể huấn luyện model trên các dataset đa dạng mà không gặp giới hạn bộ nhớ, qua đó cải thiện kết quả AI trong chăm sóc sức khỏe.
Sử dụng Huấn luyện phân tán với Ultralytics#
Thư viện ultralytics giúp triển khai huấn luyện Distributed Data Parallel (DDP) một cách đơn giản. Bạn có thể mở rộng quy mô huấn luyện các model YOLO26 tiên tiến nhất trên nhiều GPU chỉ bằng cách chỉ định các chỉ số thiết bị trong các đối số huấn luyện.
from ultralytics import YOLO
# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")
# Train the model using two GPUs (device 0 and 1)
# The library automatically handles the DDP communication backend
results = model.train(data="coco8.yaml", epochs=100, device=[0, 1])Các khái niệm và so sánh liên quan#
Để hiểu rõ vai trò cụ thể của chúng, việc phân biệt huấn luyện phân tán với các thuật ngữ tương tự trong hệ sinh thái machine learning là rất hữu ích:
- So với Federated Learning: Mặc dù cả hai đều liên quan đến nhiều thiết bị, mục tiêu của chúng khác nhau. Huấn luyện phân tán thường tập trung dữ liệu trong một cluster hiệu năng cao để tối đa hóa tốc độ. Ngược lại, federated learning giữ dữ liệu phi tập trung trên các thiết bị người dùng (như smartphone) nhằm ưu tiên quyền riêng tư dữ liệu, đồng thời cập nhật model toàn cục mà không để dữ liệu thô rời khỏi nguồn.
- So với Điện toán hiệu năng cao (HPC): HPC là một lĩnh vực rộng, bao gồm cả siêu máy tính cho các mô phỏng khoa học như dự báo thời tiết. Huấn luyện phân tán là một ứng dụng cụ thể của HPC, được áp dụng cho các thuật toán tối ưu hóa trong deep learning. Phương pháp này thường dựa vào các thư viện giao tiếp chuyên dụng như NVIDIA NCCL để giảm thiểu độ trễ giữa các GPU.
Mở rộng quy mô với các nền tảng Cloud#
Việc quản lý hạ tầng cho huấn luyện phân tán có thể phức tạp. Các nền tảng hiện đại đơn giản hóa quy trình này bằng cách cung cấp các môi trường được quản lý. Ví dụ, Ultralytics Platform cho phép người dùng quản lý dataset và khởi chạy các lượt huấn luyện có thể được triển khai lên môi trường cloud hoặc các cluster cục bộ. Tích hợp này tinh gọn quy trình từ gắn nhãn dữ liệu đến triển khai model cuối cùng, đảm bảo việc mở rộng lên nhiều GPU diễn ra liền mạch nhất có thể. Tương tự, các nhà cung cấp cloud như Google Cloud Vertex AI và Amazon SageMaker cung cấp hạ tầng mạnh mẽ để chạy các job huấn luyện phân tán ở quy mô doanh nghiệp.
