Distributed Training

Huấn luyện phân tán là một phương pháp trong học máy, trong đó khối lượng công việc huấn luyện mô hình được chia nhỏ cho nhiều bộ xử lý hoặc máy chủ. Cách tiếp cận này rất cần thiết để xử lý các tập dữ liệu quy mô lớn và các kiến trúc mạng nơ-ron phức tạp mà nếu chạy trên một thiết bị duy nhất sẽ mất một khoảng thời gian không khả thi. Bằng cách tận dụng sức mạnh tính toán kết hợp của nhiều Graphics Processing Units (GPUs) hoặc Tensor Processing Units (TPUs), huấn luyện phân tán giúp tăng tốc đáng kể chu trình phát triển, cho phép các nhà nghiên cứu và kỹ sư lặp lại nhanh hơn và đạt được độ accuracy cao hơn cho các mô hình của họ.

Cách hoạt động của đào tạo phân tán#

Ý tưởng cốt lõi đằng sau đào tạo phân tán là song song hóa. Thay vì xử lý dữ liệu tuần tự trên một chip, tác vụ được chia thành các phần nhỏ hơn và được xử lý đồng thời. Có hai chiến lược chính để đạt được điều này:

• Data Parallelism: Đây là cách tiếp cận phổ biến nhất cho các tác vụ như object detection. Trong cấu hình này, một bản sao của toàn bộ mô hình được đặt trên mọi thiết bị. Dữ liệu training data tổng thể được chia thành các lô nhỏ hơn và mỗi thiết bị xử lý một lô khác nhau cùng lúc. Sau mỗi bước, các gradient (cập nhật cho mô hình) được đồng bộ hóa trên tất cả các thiết bị để đảm bảo các model weights luôn nhất quán.
• Model Parallelism: Khi một neural network (NN) quá lớn để vừa vặn trong bộ nhớ của một GPU duy nhất, bản thân mô hình sẽ được chia nhỏ trên nhiều thiết bị. Các lớp hoặc thành phần khác nhau của mô hình nằm trên các chip khác nhau và dữ liệu luân chuyển giữa chúng. Điều này thường là cần thiết để huấn luyện các foundation models khổng lồ và Large Language Models (LLMs).

Các ứng dụng trong thực tế#

Đào tạo phân tán đã thay đổi các ngành công nghiệp bằng cách giúp giải quyết các vấn đề vốn trước đây không thể thực hiện được về mặt tính toán.

• Xe tự lái: Việc phát triển autonomous vehicles an toàn đòi hỏi phải phân tích hàng petabyte dữ liệu video và cảm biến. Các kỹ sư ô tô sử dụng các cụm phân tán lớn để huấn luyện các mô hình thị giác cho tác vụ semantic segmentation thời gian thực và phát hiện làn đường. Quy mô lớn này đảm bảo rằng các hệ thống AI in automotive có thể phản ứng đáng tin cậy với các điều kiện đường sá đa dạng.
• Chẩn đoán hình ảnh y tế: Trong lĩnh vực chăm sóc sức khỏe, việc phân tích các bản chụp 3D độ phân giải cao như MRI đòi hỏi bộ nhớ và sức mạnh xử lý đáng kể. Huấn luyện phân tán cho phép các nhà nghiên cứu xây dựng các công cụ chẩn đoán hiệu suất cao cho việc tumor detection và các tác vụ quan trọng khác. Bằng cách sử dụng các framework như NVIDIA MONAI, các bệnh viện có thể huấn luyện các mô hình trên các tập dữ liệu đa dạng mà không gặp phải tình trạng nghẽn cổ chai bộ nhớ, qua đó cải thiện kết quả của AI in healthcare.

Sử dụng đào tạo phân tán với Ultralytics#

Thư viện ultralytics giúp việc triển khai huấn luyện Distributed Data Parallel (DDP) trở nên đơn giản. Bạn có thể mở rộng quy mô huấn luyện các mô hình YOLO26 tiên tiến trên nhiều GPU bằng cách chỉ định các chỉ mục thiết bị trong các đối số huấn luyện của mình.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Train the model using two GPUs (device 0 and 1)
# The library automatically handles the DDP communication backend
results = model.train(data="coco8.yaml", epochs=100, device=[0, 1])

Các khái niệm liên quan và so sánh#

Việc phân biệt đào tạo phân tán với các thuật ngữ tương tự trong hệ sinh thái machine learning là rất hữu ích để hiểu vai trò cụ thể của chúng:

• So với Học liên kết (Federated Learning): Mặc dù cả hai đều liên quan đến nhiều thiết bị, mục tiêu của chúng lại khác nhau. Huấn luyện phân tán thường tập trung hóa dữ liệu trong một cụm hiệu suất cao để tối đa hóa tốc độ. Ngược lại, federated learning giữ dữ liệu phi tập trung trên các thiết bị của người dùng (như điện thoại thông minh) để ưu tiên data privacy, cập nhật mô hình toàn cục mà không bao giờ để lộ dữ liệu thô ra khỏi nguồn.
• So với Điện toán hiệu năng cao (HPC): HPC là một lĩnh vực rộng lớn bao gồm siêu máy tính cho các mô phỏng khoa học như dự báo thời tiết. Huấn luyện phân tán là một ứng dụng cụ thể của HPC áp dụng cho các optimization algorithms trong học sâu. Nó thường dựa vào các thư viện truyền thông chuyên dụng như NVIDIA NCCL để giảm thiểu độ trễ giữa các GPU.

Mở rộng quy mô với nền tảng đám mây#

Quản lý cơ sở hạ tầng cho huấn luyện phân tán có thể rất phức tạp. Các nền tảng hiện đại đơn giản hóa việc này bằng cách cung cấp các môi trường được quản lý. Ví dụ: Ultralytics Platform cho phép người dùng quản lý các tập dữ liệu và khởi آغاز các lượt huấn luyện có thể được triển khai lên môi trường đám mây hoặc các cụm cục bộ. Tích hợp này giúp hợp lý hóa quy trình làm việc từ data annotation đến model deployment cuối cùng, đảm bảo rằng việc mở rộng quy mô lên nhiều GPU diễn ra mượt mà nhất có thể. Tương tự, các nhà cung cấp đám mây như Google Cloud Vertex AI và Amazon SageMaker cung cấp cơ sở hạ tầng mạnh mẽ để chạy các tác vụ huấn luyện phân tán ở quy mô doanh nghiệp.