Huấn luyện phân tán (Distributed Training)

Đào tạo phân tán là một kỹ thuật mạnh mẽ trong học máy (ML) giúp tăng tốc quá trình tạo mô hình bằng cách chia khối lượng công việc tính toán trên nhiều bộ xử lý, chẳng hạn như Bộ xử lý đồ họa (GPU) hoặc Tensor Bộ xử lý (TPU). Bằng cách tận dụng sức mạnh tổng hợp của các thiết bị đồng thời—dù nằm trên một máy trạm đơn lẻ hay được kết nối mạng trên một cụm lớn—các nhà phát triển có thể giảm đáng kể thời gian cần thiết để đào tạo các kiến trúc học sâu (DL) phức tạp. Phương pháp này rất cần thiết để xử lý các tập dữ liệu khổng lồ và phát triển các hệ thống trí tuệ nhân tạo (AI) tiên tiến, cho phép các chu kỳ lặp lại nhanh hơn và thử nghiệm rộng rãi hơn.

Chiến lược cốt lõi cho song song hóa

Để phân bổ khối lượng công việc hiệu quả, các kỹ sư thường sử dụng một trong hai chiến lược chính hoặc phương pháp kết hợp được thiết kế để tối đa hóa hiệu quả:

• Song song dữ liệu : Đây là phương pháp phổ biến nhất cho các tác vụ như phát hiện đối tượng . Trong thiết lập này, một bản sao hoàn chỉnh của mô hình nằm trên mỗi thiết bị. Dữ liệu huấn luyện được chia thành các phần nhỏ hơn và mỗi thiết bị xử lý một tập con khác nhau đồng thời. Trong giai đoạn lan truyền ngược , các gradient được tính toán độc lập và sau đó được đồng bộ hóa trên tất cả các thiết bị bằng các giao thức truyền thông như Giao diện Truyền tin (MPI) để cập nhật trọng số mô hình một cách nhất quán.
• Mô hình song song : Khi một mạng nơ-ron (NN) quá lớn để phù hợp với bộ nhớ của một GPU , cần có tính song song của mô hình. Các lớp hoặc thành phần của mô hình được phân vùng trên các thiết bị khác nhau. Dữ liệu được truyền tuần tự hoặc đồng thời giữa các thiết bị khi đi qua mạng. Kỹ thuật này rất quan trọng để huấn luyện các mô hình nền tảng lớn và Mô hình Ngôn ngữ Lớn (LLM) , trong đó số lượng tham số có thể lên tới hàng nghìn tỷ, đòi hỏi các công cụ chuyên dụng như Microsoft DeepSpeed để quản lý bộ nhớ.

Các Ứng dụng Thực tế

Đào tạo phân tán cho phép các ngành công nghiệp giải quyết các vấn đề trước đây không khả thi về mặt tính toán do hạn chế về thời gian hoặc bộ nhớ.

• Lái xe tự động : Việc phát triển xe tự lái đáng tin cậy đòi hỏi phải xử lý hàng petabyte dữ liệu video và cảm biến. Các công ty ô tô sử dụng các cụm phân tán quy mô lớn để huấn luyện các mô hình thị giác cho phân đoạn ngữ nghĩa và theo dõi đối tượng theo thời gian thực. Bằng cách sử dụng AI trong quy trình làm việc của ngành ô tô , các kỹ sư có thể lặp lại nhanh chóng các mô hình quan trọng về an toàn để cải thiện hiệu suất.
• Hình ảnh Y tế : Trong AI trong Chăm sóc Sức khỏe , việc phân tích các hình ảnh quét 3D độ phân giải cao như MRI hoặc CT đòi hỏi tài nguyên tính toán đáng kể. Đào tạo phân tán cho phép các nhà nghiên cứu đào tạo các mô hình chẩn đoán có độ chính xác cao trên các tập dữ liệu đa dạng, tuân thủ quyền riêng tư. Các nền tảng như NVIDIA CLARA thường dựa vào các kỹ thuật phân tán để xử lý hiệu quả các hình ảnh y tế phức tạp này.

Triển khai đào tạo phân tán với YOLO

Các ultralytics Thư viện này đơn giản hóa việc triển khai đào tạo Dữ liệu Phân tán Song song (DDP). Bạn có thể dễ dàng mở rộng quy mô đào tạo của mình YOLO11 mô hình trên nhiều GPU bằng cách chỉ định các chỉ số thiết bị.

from ultralytics import YOLO

# Load a pre-trained YOLO11 model
model = YOLO("yolo11n.pt")

# Train the model using two GPUs (device 0 and 1)
# The library automatically handles DDP setup for parallel processing
results = model.train(data="coco8.yaml", epochs=5, device=[0, 1])

Huấn luyện phân tán so với các khái niệm liên quan

Điều quan trọng là phải phân biệt đào tạo phân tán với các thuật ngữ liên quan khác trong hệ sinh thái AI:

• so với Học Liên kết : Mặc dù cả hai đều liên quan đến nhiều thiết bị, nhưng mục tiêu chính của chúng lại khác nhau. Đào tạo phân tán thường tập trung dữ liệu vào một cụm hiệu suất cao để tối đa hóa tốc độ và thông lượng. Ngược lại, học liên kết giữ dữ liệu phân tán trên các thiết bị của người dùng (như điện thoại thông minh) để ưu tiên quyền riêng tư dữ liệu , tổng hợp các bản cập nhật mô hình mà không cần dữ liệu thô phải rời khỏi thiết bị nguồn.
• so với Điện toán Hiệu năng Cao (HPC) : HPC là một lĩnh vực rộng bao gồm siêu máy tính cho các mô phỏng khoa học, chẳng hạn như dự báo thời tiết. Đào tạo phân tán là một ứng dụng cụ thể của HPC được áp dụng cho các thuật toán tối ưu hóa trong mạng nơ-ron, thường sử dụng các thư viện giao tiếp chuyên dụng như NVIDIA NCCL để giảm độ trễ giữa các GPU.

Công cụ và Hệ sinh thái

Một hệ sinh thái mạnh mẽ gồm các công cụ và nền tảng nguồn mở hỗ trợ việc triển khai đào tạo phân tán:

• Khung: PyTorch cung cấp hỗ trợ gốc thông qua gói phân phối của nó, trong khi TensorFlow cung cấp các chiến lược như MirroredStrategy để mở rộng quy mô một cách liền mạch.
• Điều phối : Quản lý tài nguyên trên một cụm lớn thường liên quan đến các công cụ điều phối vùng chứa như Kubernetes hoặc Kubeflow , giúp tự động triển khai và mở rộng quy mô các công việc đào tạo.
• Cơ sở hạ tầng đám mây : Các nhà cung cấp lớn cung cấp các dịch vụ được quản lý như AWS SageMaker và Google Cloud TPU , cung cấp cơ sở hạ tầng được tối ưu hóa cho khối lượng công việc phân tán, loại bỏ gánh nặng bảo trì phần cứng.
• Khả năng mở rộng phổ quát : Các thư viện như Horovod và Ray cung cấp các phương pháp mở rộng không phụ thuộc vào khuôn khổ, cho phép các nhà phát triển điều chỉnh mã của họ cho các môi trường phân tán với những thay đổi tối thiểu.