Mixture of Experts (MoE)

Mixture of Experts (MoE) là một thiết kế kiến trúc chuyên biệt trong học sâu, cho phép các mô hình mở rộng quy mô lên kích thước khổng lồ mà không làm tăng chi phí tính toán tương ứng. Khác với một neural network (NN) dày đặc tiêu chuẩn, nơi mọi tham số đều hoạt động với mọi đầu vào, một mô hình MoE áp dụng kỹ thuật gọi là tính toán có điều kiện. Tiếp cận này kích hoạt động chỉ một tập hợp con nhỏ các thành phần của mạng—được gọi là "các chuyên gia"—dựa trên các đặc điểm cụ thể của dữ liệu đầu vào. Bằng cách đó, các kiến trúc MoE cho phép tạo ra các foundation models mạnh mẽ có thể sở hữu hàng nghìn tỷ tham số trong khi vẫn duy trì được inference latency và tốc độ vận hành của các hệ thống nhỏ hơn nhiều.

Các cơ chế cốt lõi của MoE#

Hiệu suất của một model Mixture of Experts bắt nguồn từ việc thay thế các lớp dense tiêu chuẩn bằng một lớp MoE thưa (sparse MoE layer). Lớp này thường bao gồm hai thành phần chính phối hợp với nhau để xử lý thông tin một cách hiệu quả:

• Các chuyên gia: Đây là các tiểu mạng độc lập, thường là các mạng thần kinh chuyển tiếp thẳng (feed-forward neural networks - FFNs) đơn giản. Mỗi chuyên gia chuyên xử lý các khía cạnh khác nhau của dữ liệu. Trong bối cảnh của natural language processing (NLP), một chuyên gia có thể trở nên thành thạo trong việc xử lý ngữ pháp, trong khi chuyên gia khác tập trung vào việc truy xuất dữ liệu thực tế hoặc cú pháp mã nguồn.
• Mạng điều hướng (Router): Router đóng vai trò như một bộ điều khiển lưu lượng cho dữ liệu. Khi một đầu vào—chẳng hạn như một bản vá ảnh (image patch) hoặc một token văn bản—đi vào lớp, router tính toán một điểm số xác suất bằng cách sử dụng softmax function. Sau đó, nó chuyển hướng đầu vào đó chỉ đến các chuyên gia "Top-K" (thường là một hoặc hai) có điểm số cao nhất. Điều này đảm bảo rằng mô hình chỉ tiêu tốn năng lượng cho các tham số có liên quan nhất.

Phân biệt với Model Ensembles#

Mặc dù cả hai khái niệm đều liên quan đến việc sử dụng nhiều tiểu mô hình, điều quan trọng là phải phân biệt Mixture of Experts với một model ensemble. Trong một ensemble truyền thống, mọi mô hình trong nhóm đều xử lý cùng một đầu vào và kết quả của chúng được lấy trung bình hoặc bỏ phiếu để tối đa hóa accuracy. Tiếp cận này làm tăng chi phí tính toán theo tỷ lệ tuyến tính với số lượng mô hình.

Ngược lại, một MoE là một mô hình thống nhất duy nhất, nơi các đầu vào khác nhau đi qua các đường dẫn khác nhau. Một MoE thưa (sparse MoE) hướng tới scalability và hiệu suất bằng cách chỉ chạy một phần nhỏ tổng số tham số cho bất kỳ bước suy luận nào cho trước. Điều này cho phép huấn luyện trên lượng lớn training data mà không gặp phải các chi phí đắt đỏ liên quan đến các ensemble dày đặc.

Các ứng dụng trong thực tế#

Kiến trúc MoE đã trở thành nền tảng cho AI hiệu năng cao hiện đại, đặc biệt là trong các tình huống đòi hỏi khả năng đa nhiệm và lưu giữ kiến thức rộng.

1. Mô hình ngôn ngữ đa ngôn ngữ: Các mô hình nổi bật như Mistral AI's Mixtral 8x7B tận dụng MoE để vượt trội trong các tác vụ ngôn ngữ đa dạng. Bằng cách điều hướng các token đến các chuyên gia chuyên biệt, các hệ thống này có thể xử lý các tác vụ dịch thuật, tóm tắt và viết mã trong một cấu trúc mô hình duy nhất, vượt trội hơn các mô hình dày đặc có số lượng tham số hoạt động tương đương.

2. Thị giác máy tính có thể mở rộng: Trong lĩnh vực computer vision (CV), các nhà nghiên cứu áp dụng MoE để xây dựng các phần thân (backbone) thị giác khổng lồ. Kiến trúc Vision MoE (V-MoE) chứng minh cách các chuyên gia có thể chuyên môn hóa trong việc nhận diện các đặc điểm trực quan riêng biệt, giúp mở rộng hiệu suất một cách hiệu quả trên các chuẩn đánh giá như ImageNet. Mặc dù các mô hình dày đặc được tối ưu hóa cao như YOLO26 vẫn là tiêu chuẩn cho việc phát hiện trên biên (edge detection) thời gian thực nhờ vào lượng tiêu thụ bộ nhớ có thể dự đoán trước, nghiên cứu MoE vẫn tiếp tục đẩy lùi các ranh giới của việc hiểu thị giác phía máy chủ.

Ví dụ về logic định tuyến#

Để hiểu cách mạng điều hướng chọn các chuyên gia, hãy xem xét ví dụ PyTorch được đơn giản hóa này. Nó minh họa một cơ chế điều hướng chọn ra chuyên gia phù hợp nhất cho một đầu vào cho trước.

import torch
import torch.nn as nn

# A simple router deciding between 4 experts for input dimension of 10
num_experts = 4
input_dim = 10
router = nn.Linear(input_dim, num_experts)

# Batch of 2 inputs
input_data = torch.randn(2, input_dim)

# Calculate scores and select the top-1 expert for each input
logits = router(input_data)
probs = torch.softmax(logits, dim=-1)
weights, indices = torch.topk(probs, k=1, dim=-1)

print(f"Selected Expert Indices: {indices.flatten().tolist()}")

Những thách thức trong đào tạo và triển khai#

Bất chấp những ưu điểm của chúng, các mô hình MoE mang lại những thách thức độc đáo cho training process. Một vấn đề chính là cân bằng tải (load balancing); router có thể ưu gia một vài chuyên gia "phổ biến" trong khi bỏ qua những chuyên gia khác, dẫn đến việc lãng phí dung lượng. Để giảm thiểu điều này, các nhà nghiên cứu sử dụng các loss functions phụ trợ để khuyến khích việc sử dụng đồng đều tất cả các chuyên gia.

Hơn nữa, việc triển khai các mô hình khổng lồ này đòi hỏi các thiết lập phần cứng tinh vi. Vì tổng số lượng tham số lớn (ngay cả khi các tham số hoạt động ít), mô hình thường yêu cầu VRAM đáng kể, đòi hỏi phải có distributed training trên nhiều GPUs. Các framework như Microsoft DeepSpeed giúp quản lý khả năng song song cần thiết để huấn luyện các hệ thống này một cách hiệu quả. Để quản lý các tập dữ liệu và quy trình huấn luyện cho các kiến trúc phức tạp như vậy, các công cụ như Ultralytics Platform cung cấp hạ tầng thiết yếu cho việc ghi nhật ký, trực quan hóa và triển khai.