Masked Autoencoders (MAE)

Autoencoder che khuất (MAE) là một phương pháp có hiệu suất cao và khả năng mở rộng tốt cho học tự giám sát trong lĩnh vực rộng hơn là thị giác máy tính. Được giới thiệu như một phương pháp để huấn luyện các mạng neural có số lượng tham số lớn mà không cần các bộ dữ liệu được gán nhãn quy mô lớn, MAE hoạt động bằng cách cố ý che khuất một phần lớn, được chọn ngẫu nhiên, của ảnh đầu vào và huấn luyện model tái tạo các pixel bị thiếu. Bằng cách dự đoán chính xác thông tin hình ảnh bị ẩn, mạng tự nhiên học được hiểu biết sâu sắc về ngữ nghĩa của hình dạng, kết cấu và các mối quan hệ không gian.

Kỹ thuật này lấy cảm hứng lớn từ thành công của phương pháp mô hình hóa ngôn ngữ bị che khuất trong các hệ thống dựa trên văn bản, nhưng được điều chỉnh cho đặc tính nhiều chiều của dữ liệu hình ảnh. Kiến trúc này dựa trên framework Transformer rất phổ biến, sử dụng cấu trúc encoder-decoder bất đối xứng.

Cách Autoencoder che khuất hoạt động#

Đổi mới cốt lõi của MAE nằm ở hiệu suất xử lý. Trong quá trình huấn luyện, ảnh đầu vào được chia thành một lưới gồm các patch. Một tỷ lệ lớn các patch này, thường lên đến 75%, được che khuất ngẫu nhiên và loại bỏ. Encoder, thường là một Transformer thị giác (ViT), chỉ xử lý các patch hiển thị, không bị che khuất. Vì encoder hoàn toàn bỏ qua các phần bị che khuất, nó cần ít tài nguyên tính toán và bộ nhớ hơn đáng kể, giúp quá trình huấn luyện nhanh hơn rõ rệt.

Sau khi encoder tạo ra các biểu diễn tiềm ẩn của những patch hiển thị, một decoder nhẹ sẽ tiếp quản. Decoder nhận các patch hiển thị đã được mã hóa cùng với các "mask token" (placeholder cho dữ liệu bị thiếu) và cố gắng khôi phục ảnh ban đầu. Vì decoder chỉ được sử dụng trong giai đoạn pre-training này, nó có thể được giữ ở kích thước rất nhỏ, tiếp tục giảm overhead tính toán. Khi hoàn tất pre-training, decoder bị loại bỏ và encoder mạnh mẽ được giữ lại cho các ứng dụng downstream.

Phân biệt các thuật ngữ liên quan#

Để hiểu đầy đủ về MAE, cần nắm được điểm khác biệt giữa chúng và các khái niệm deep learning cũ hơn hoặc có phạm vi rộng hơn:

• Autoencoder: Autoencoder truyền thống nén toàn bộ đầu vào vào một không gian tiềm ẩn nhỏ hơn rồi tái tạo nó để học các cách mã hóa dữ liệu hiệu quả. Tuy nhiên, MAE buộc mạng phải dự đoán dữ liệu bị thiếu thay vì chỉ nén và giải nén toàn bộ đầu vào.
• Học tự giám sát: Đây là paradigm huấn luyện tổng quát, trong đó model học từ chính dữ liệu mà không cần nhãn do con người chú thích. MAE là một triển khai kiến trúc cụ thể của khái niệm này.
• Foundation Model: MAE thường được dùng để pre-train các foundation model thị giác, sau đó các model này được fine-tune cho những tác vụ chuyên biệt.

Các ứng dụng trong thực tế#

Vì MAE học được các biểu diễn dữ liệu hình ảnh cực kỳ mạnh mẽ, chúng là điểm khởi đầu lý tưởng cho các hệ thống AI phức tạp trong thế giới thực.

• Pre-training cho Object Detection nâng cao: Các khả năng trích xuất đặc trưng phong phú được học thông qua pre-training với MAE có thể cải thiện đáng kể hiệu suất của các hệ thống object detection downstream. Ví dụ, các đặc trưng học được thông qua MAE có thể được sử dụng khi huấn luyện các model như Ultralytics YOLO26 trên các bộ dữ liệu chuyên biệt, quy mô nhỏ, trong đó dữ liệu được gán nhãn khan hiếm.
• Phân tích ảnh y khoa: Trong các lĩnh vực như X-quang, việc thu thập các bộ dữ liệu lớn gồm ảnh MRI hoặc CT được chú thích rất tốn kém và bị hạn chế bởi luật bảo mật. Các nhà nghiên cứu sử dụng MAE để pre-train model trên những kho ảnh y khoa lớn chưa gán nhãn, được công bố trong các tài liệu học thuật gần đây trên arXiv, trước khi fine-tune chúng để phát hiện khối u hoặc bất thường chỉ với rất ít mẫu được gán nhãn.

Quản lý dữ liệu và triển khai#

Sau khi một backbone được pre-train bằng phương pháp MAE, bước tiếp theo là fine-tune và triển khai model cho các tác vụ cụ thể như phân loại ảnh hoặc phân đoạn ảnh. Các hệ sinh thái cloud hiện đại giúp quá trình chuyển đổi này diễn ra liền mạch. Ví dụ, các team có thể tận dụng Ultralytics Platform để dễ dàng chú thích các bộ dữ liệu dành riêng cho tác vụ, điều phối quá trình huấn luyện trên cloud và triển khai các model sẵn sàng cho production lên thiết bị edge hoặc server. Điều này loại bỏ phần lớn công việc hạ tầng boilerplate thường gắn với vận hành machine learning (MLOps).

Ví dụ code: Mô phỏng việc che khuất patch#

Mặc dù việc huấn luyện một MAE hoàn chỉnh đòi hỏi kiến trúc Transformer đầy đủ, khái niệm cốt lõi về che khuất patch có thể dễ dàng được minh họa bằng các phép toán tensor của PyTorch. Đoạn code đơn giản này minh họa cách chọn ngẫu nhiên các patch hiển thị từ một tensor đầu vào.

import torch


def create_random_mask(batch_size, num_patches, mask_ratio=0.75):
    """Generates a random mask to simulate MAE patch dropping."""
    # Calculate how many patches to keep visible
    num_keep = int(num_patches * (1 - mask_ratio))

    # Generate random noise to determine patch shuffling
    noise = torch.rand(batch_size, num_patches)

    # Sort noise to get random indices
    ids_shuffle = torch.argsort(noise, dim=1)

    # Select the indices of the patches that remain visible
    ids_keep = ids_shuffle[:, :num_keep]

    return ids_keep


# Simulate a batch of 4 images, each divided into 196 patches
visible_patches = create_random_mask(batch_size=4, num_patches=196)
print(f"Visible patch indices shape: {visible_patches.shape}")

Đối với các developer muốn tích hợp những khả năng thị giác mạnh mẽ, đã được pre-train vào quy trình làm việc mà không phải tự viết kiến trúc từ đầu, việc khám phá tài liệu Ultralytics phong phú sẽ cung cấp điểm khởi đầu tuyệt vời để áp dụng các model thị giác hiện đại cho những bài toán đặc thù. Ngoài ra, các framework lớn như TensorFlow cũng cung cấp các hệ sinh thái mạnh mẽ để triển khai nghiên cứu machine learning tiên tiến vào các môi trường production có khả năng mở rộng.