Masked Autoencoders (MAE)

Masked Autoencoders (MAE) представляют собой высокоэффективный и масштабируемый подход к самообучению в рамках более широкой области компьютерного зрения. Метод, представленный для обучения нейронных сетей с большим количеством параметров без необходимости использования обширных размеченных наборов данных, работает за счет намеренного скрытия значительной случайной части входного изображения и обучения модели реконструкции отсутствующих пикселей. Успешно предсказывая скрытую визуальную информацию, нейросеть по сути осваивает глубокое семантическое понимание форм, текстур и пространственных отношений.

Эта техника во многом вдохновлена успехом маскированного языкового моделирования в текстовых системах, но адаптирована для высокоразмерной природы данных изображений. Архитектура опирается на широко популярный фреймворк Transformer, используя асимметричную структуру энкодера-декодера.

Link to this sectionКак работают Masked Autoencoders#

Основная инновация MAE заключается в эффективности обработки. Во время обучения входное изображение делится на сетку патчей. Высокий процент этих патчей (часто до 75%) случайным образом маскируется и отбрасывается. Энкодер, как правило, Vision Transformer (ViT), обрабатывает только видимые, немаскированные патчи. Поскольку энкодер полностью пропускает маскированные части, он требует значительно меньше вычислительных мощностей и памяти, что делает процесс обучения невероятно быстрым.

После того как энкодер генерирует латентные представления видимых патчей, в работу вступает облегченный декодер. Декодер получает закодированные видимые патчи вместе с «маскированными токенами» (заполнителями для отсутствующих данных) и пытается восстановить исходное изображение. Поскольку декодер используется только на этапе предварительного обучения, его размер можно сделать очень маленьким, что еще больше снижает вычислительные затраты. Как только предварительное обучение завершено, декодер отбрасывается, а мощный энкодер сохраняется для последующих задач.

Link to this sectionРазграничение связанных терминов#

Чтобы полностью понять MAE, полезно разобраться в их отличиях от более старых или общих концепций глубинного обучения:

• Автокодировщик: Традиционный автокодировщик сжимает весь входной сигнал в меньшее латентное пространство, а затем реконструирует его для изучения эффективного кодирования данных. MAE же заставляет нейросеть предсказывать отсутствующие данные, а не просто сжимать и разжимать весь вход целиком.
• Самообучение: Это общая парадигма обучения, при которой модель учится на самих данных без использования размеченных человеком меток. MAE является специфической архитектурной реализацией этой концепции.
• Фундаментальная модель: MAE часто используются для предварительного обучения визуальных фундаментальных моделей, которые затем донастраиваются для выполнения специализированных задач.

Link to this sectionРеальные приложения#

Поскольку MAE осваивают невероятно устойчивые представления визуальных данных, они являются идеальными отправными точками для сложных ИИ-систем реального мира.

• Предварительное обучение для передового обнаружения объектов: Богатые возможности извлечения признаков, освоенные в ходе предварительного обучения MAE, могут значительно повысить производительность последующих систем обнаружения объектов. Например, признаки, изученные с помощью MAE, можно использовать при обучении таких моделей, как Ultralytics YOLO26, на пользовательских, узкоспециализированных наборах данных, где размеченных данных мало.
• Анализ медицинских изображений: В таких областях, как радиология, сбор огромных наборов данных аннотированных МРТ или КТ-сканов стоит дорого и ограничен законами о конфиденциальности. Исследователи используют MAE для предварительного обучения моделей на больших массивах неразмеченных медицинских изображений, опубликованных в недавних научных работах на arXiv, прежде чем донастраивать их для обнаружения опухолей или аномалий с очень небольшим количеством размеченных примеров.

Link to this sectionУправление данными и развертывание#

Как только бэкенд предварительно обучен с использованием подхода MAE, следующим шагом становится донастройка и развертывание модели для конкретных задач, таких как классификация изображений или сегментация изображений. Современные облачные экосистемы делают этот переход плавным. Например, команды могут использовать платформу Ultralytics для легкой аннотации наборов данных под конкретные задачи, оркестрации облачного обучения и развертывания готовых моделей на периферийных устройствах или серверах. Это устраняет большую часть шаблонной инфраструктурной работы, обычно связанной с MLOps.

Link to this sectionПример кода: Моделирование маскирования патчей#

Хотя обучение полноценной MAE требует полной архитектуры Transformer, основную концепцию маскирования патчей можно легко визуализировать с помощью тензорных операций PyTorch. Этот простой фрагмент демонстрирует, как можно случайным образом выбирать видимые патчи из входного тензора.

import torch


def create_random_mask(batch_size, num_patches, mask_ratio=0.75):
    """Generates a random mask to simulate MAE patch dropping."""
    # Calculate how many patches to keep visible
    num_keep = int(num_patches * (1 - mask_ratio))

    # Generate random noise to determine patch shuffling
    noise = torch.rand(batch_size, num_patches)

    # Sort noise to get random indices
    ids_shuffle = torch.argsort(noise, dim=1)

    # Select the indices of the patches that remain visible
    ids_keep = ids_shuffle[:, :num_keep]

    return ids_keep


# Simulate a batch of 4 images, each divided into 196 patches
visible_patches = create_random_mask(batch_size=4, num_patches=196)
print(f"Visible patch indices shape: {visible_patches.shape}")

Для разработчиков, стремящихся интегрировать мощные предварительно обученные визуальные возможности в свои рабочие процессы без написания архитектур с нуля, изучение обширной документации Ultralytics станет отличной отправной точкой для применения передовых моделей компьютерного зрения к твоим уникальным задачам. Кроме того, крупные фреймворки, такие как TensorFlow, также предоставляют надежные экосистемы для внедрения передовых исследований в области машинного обучения в масштабируемые производственные среды.