Contrastive Learning

Контрастивное обучение — это парадигма машинного обучения, которая учит модели понимать данные путем сравнения похожих и непохожих образцов. В отличие от традиционного обучения с учителем, которое сильно зависит от размеченных вручную наборов данных, контрастивное обучение часто используется в контекстах самообучения. Основная идея проста, но эффективна: модель учится сближать представления связанных элементов (положительных пар) в векторном пространстве, одновременно отдаляя несвязанные элементы (отрицательные пары). Этот процесс позволяет алгоритмам создавать надежные, обобщаемые признаки на основе огромного количества неразмеченных данных, что критически важно для масштабирования систем искусственного интеллекта (ИИ).

Link to this sectionМеханизм контрастивного обучения#

В основе контрастивного обучения лежит концепция обучения через сравнение. Вместо того чтобы запоминать, что конкретное изображение — это «кошка», модель узнает, что две разные фотографии кошки более похожи друг на друга, чем каждая из них — на фотографию собаки. Обычно это достигается с помощью аугментации данных. Входное изображение, часто называемое «якорем», преобразуется в две разные версии с использованием таких методов, как обрезка, отражение или изменение цветового джиттера. Эти две версии образуют положительную пару. Затем модель обучается минимизировать расстояние между их эмбеддингами, максимизируя при этом расстояние до других случайных изображений (отрицательных образцов) в пакете.

Этот подход помогает нейронной сети сосредоточиться на высокоуровневых семантических признаках, а не на деталях пикселей низкого уровня. Например, независимо от того, красный автомобиль или синий, повернут он влево или вправо, фундаментальное понятие «автомобиль» остается прежним. Игнорируя эти поверхностные вариации, модель развивает более глубокое понимание визуального мира, что значительно улучшает последующие задачи, такие как обнаружение объектов и классификация.

Link to this sectionРеальные приложения#

Контрастивное обучение стало краеугольным камнем для многих передовых приложений ИИ, особенно там, где размеченных данных мало или их получение стоит дорого.

1. Классификация изображений в режиме Zero-Shot: Модели, такие как CLIP (Contrastive Language-Image Pre-training), используют контрастивное обучение для сопоставления изображений и текста в общем пространстве признаков. Обучаясь на миллионах пар «изображение-текст», модель учится связывать визуальные концепты с описаниями на естественном языке. Это открывает возможности для zero-shot обучения, при котором модель может классифицировать изображения по категориям, которые она никогда не видела во время обучения, просто сопоставляя изображение с текстовым запросом.

2. Надежное предварительное обучение для медицинской визуализации: В здравоохранении получение медицинских сканов, размеченных экспертами, требует много времени и средств. Исследователи используют контрастивное обучение для предварительной подготовки моделей на больших базах неразмеченных рентгеновских снимков или МРТ. Такое обучение без учителя создает мощный бэкбон, который можно дообучить на небольшом количестве размеченных примеров для высокоточного обнаружения болезней, таких как пневмония или опухоли. Этот метод использует трансферное обучение для улучшения диагностических инструментов в ИИ в здравоохранении.

Link to this sectionРазграничение похожих концепций#

Полезно отличать контрастивное обучение от схожих методов, чтобы понять его уникальную роль в ландшафте машинного обучения (ML).

• vs. Автокодировщики: Хотя оба метода являются методами обучения без учителя, автокодировщики стремятся восстановить входные данные попиксельно, сжимая их до узкого слоя. Контрастивное обучение, напротив, не пытается воссоздать изображение, а фокусируется исключительно на изучении дискриминативных представлений, которые разделяют различные концепты.
• vs. Генеративно-состязательные сети (GANs): GANs предполагают наличие генератора, создающего поддельные данные, и дискриминатора, пытающегося их обнаружить. Контрастивное обучение фокусируется на обучении представлениям, а не на генерации данных, что делает его более подходящим для таких задач, как поиск, выборка и классификация.
• vs. Triplet Loss: Традиционная triplet loss явно требует наличия якоря, положительного и отрицательного образцов. Современные контрастивные методы, такие как SimCLR или MoCo, обобщают это, сравнивая якорь со многими отрицательными образцами одновременно внутри пакета, часто используя специфическую функцию потерь, например InfoNCE.

Link to this sectionПрактический пример с эмбеддингами#

Хотя обучение контрастивной модели с нуля требует значительных ресурсов, ты можешь легко использовать предобученные модели для извлечения признаков. Следующий пример демонстрирует, как загрузить модель и извлечь вектор признаков (эмбеддинг) для изображения с помощью пакета ultralytics. Этот эмбеддинг представляет семантическое содержание, изученное с помощью методов, подобных контрастивному предварительному обучению.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference on an image to get the results
# The 'embed' argument can be used in advanced workflows to extract feature layers
results = model("https://ultralytics.com/images/bus.jpg")

# Access the top predicted class probability
# This prediction is based on the learned feature representations
print(f"Top class: {results[0].names[results[0].probs.top1]}")
print(f"Confidence: {results[0].probs.top1conf:.4f}")

Эта способность извлекать богатые и значимые признаки делает контрастивное обучение важным для создания современных систем компьютерного зрения (CV), обеспечивая эффективный поиск изображений и продвинутую аналитику. Для управления наборами данных и обучения пользовательских моделей, выигрывающих от этих передовых архитектур, Ultralytics Platform предоставляет оптимизированную среду для развертывания и мониторинга.