Контрастное обучение

Контрастивное обучение — это мощная техника машинного обучения (ML), которая позволяет модели изучать общие характеристики набора данных без меток, обучая ее различать схожие и несхожие точки данных. В отличие от традиционного обучения с контролем, которое опирается на явные категории, предоставленные людьми, контрастивное обучение работает по принципу сравнения. Оно сближает представления связанных элементов (положительные пары) в пространстве вложений, одновременно отдаляя несвязанные элементы (отрицательные пары). Этот подход является краеугольным камнем современного самоконтролируемого обучения, позволяя алгоритмам использовать огромные объемы немеченых данных для построения надежных, переносимых характеристик.

Как работает контрастивное обучение

Основной механизм включает в себя создание пар образцов и обучение нейронной сети распознаванию, какие пары относятся друг к другу. Процесс обычно состоит из следующих этапов:

• Увеличение объема данных: система берет одно изображение («якорь») и применяет к нему случайные преобразования — такие как кадрирование, изменение цвета или переворот — для создания двух разных представлений одного и того же изображения. Эти два представления образуют положительную пару.
• Извлечение признаков: оба представления проходят через кодер, часто представляющий собой сверточную нейронную сеть (CNN) или Vision Transformer (ViT), для генерации векторов признаков.
• Оптимизация контрастных потерь: специальная функция потерь, такая как потери InfoNCE, минимизирует расстояние между положительными парами векторов и максимизирует расстояние между якорем и другими несвязанными изображениями (отрицательными парами) в том же размере пакета обучения.

Этот процесс эффективно учит модель игнорировать поверхностные различия (такие как освещение или ориентация) и сосредоточиться на высокоуровневом семантическом содержании данных.

Ключевые области применения искусственного интеллекта

Контрастивное обучение произвело революцию в том, как модели проходят предварительное обучение, особенно в области компьютерного зрения и обработки естественного языка.

1. Классификация Zero-Shot и Few-Shot: модели, предварительно обученные с помощью контрастивных методов, таких как CLIP от OpenAI, учатся связывать изображения с текстовыми описаниями. Это позволяет осуществлять обучение Zero-Shot, при котором модель может classify по категориям, которые она никогда раньше не видела, просто сопоставляя характеристики изображения с текстовыми характеристиками названия категории.
2. Предварительное обучение надежных функций для обнаружения объектов: в сценариях, связанных с обнаружением объектов, маркировка данных занимает много времени. Разработчики могут использовать контрастивное обучение для предварительного обучения базовой сети на немаркированных наборах данных, таких как ImageNet. Эта базовая сеть создает прочную основу для последующих задач, улучшая производительность таких моделей, как YOLO26, когда они в конечном итоге настраиваются на меньших меченых наборах данных.

Связь с другими концепциями

Чтобы понять уникальное положение контрастивного обучения в сфере искусственного интеллекта, полезно отличать его от схожих методов :

• Vs. Автокодировщики: Обе технологии являются неконтролируемыми. Однако автокодировщики направлены на пиксельную реконструкцию входных данных, часто сохраняя ненужный шум. Контрастивное обучение фокусируется исключительно на дискриминационных признаках — том, что делает объект уникальным по сравнению с другими — что приводит к более семантическим представлениям.
• В отличие от генеративного ИИ: в то время как генеративные модели (такие как GAN или диффузионные модели) учатся создавать новые экземпляры данных, контрастивное обучение сосредоточено на изучении структуры и взаимосвязей в существующих данных для выполнения таких задач, как классификация или поиск.
• Vs. Мультимодальное обучение: Контрастивное обучение часто является движущей силой мультимодальных систем. Оно согласовывает данные из разных модальностей (например, текст и изображения) в общем векторном пространстве, обеспечивая кросс-модальный поиск и понимание.

Пример: извлечение признаков с предварительно обученными весами

Хотя реализация полного контрастивного цикла обучения является сложной задачей, вы можете легко использовать модели, которые извлекли выгоду из этих техник. В следующем примере используется предварительно обученная модель YOLO11 для извлечения признаков, демонстрируя, как модель научилась выделять отличительные характеристики изображения.

from ultralytics import YOLO

# Load a YOLO11 classification model pre-trained on ImageNet
# The backbone has learned discriminative features useful for separating classes
model = YOLO("yolo11n-cls.pt")

# Perform inference on an image
# The model uses its learned internal representation to determine the class
results = model("https://ultralytics.com/images/bus.jpg")

# Print the top predicted class, showing the model's understanding of the object
print(f"Predicted class: {results[0].names[results[0].probs.top1]}")

Проблемы и перспективы

Несмотря на свой успех, контрастивное обучение требует тщательной проработки. Выбор отрицательных пар имеет решающее значение: если отрицательные пары слишком легко различить, модель перестает учиться. Такие технологии, как SimCLR и MoCo (Momentum Contrast), представили инновационные способы эффективного управления большими партиями отрицательных образцов. По мере того, как аппаратное обеспечение, такое как графические процессоры, становится все более мощным, контрастивные методы масштабируются до еще более крупных наборов данных, прокладывая путь для более универсальных базовых моделей. Ultralytics интегрировать эти передовые методы обучения представлениям для повышения точности и эффективности наших решений в области компьютерного зрения (CV).