Embeddings

Эмбеддинги — это плотные непрерывные векторные представления дискретных переменных в пространстве низкой размерности, выполняющие роль фундаментального переводчика между данными, создаваемыми людьми, и машинной логикой. В сфере искусственного интеллекта (AI) компьютеры не способны интуитивно понимать неструктурированные и неупорядоченные данные, такие как текст, изображения или аудио. Эмбеддинги решают эту задачу, преобразуя такие входные данные в списки действительных чисел, известные как векторы, которые существуют в математическом пространстве высокой размерности. В отличие от традиционных способов кодирования, которые могут просто назначать объекту случайный идентификатор, эмбеддинги обучаются в процессе тренировки, благодаря чему семантически схожие элементы — например, слова «король» и «королева» или изображения двух разных кошек — располагаются близко друг к другу в векторном пространстве.

Как работают эмбеддинги#

Создание эмбеддинга включает подачу исходных данных в нейронную сеть, разработанную для извлечения признаков. Во время обучения модель учится сжимать ключевые характеристики входных данных в компактную числовую форму. Например, модель компьютерного зрения (CV), анализирующая фотографию, видит не только пиксели: она отображает формы, текстуры и цвета в определённую координату многомерного графа. При измерении сходства системы вычисляют расстояние между этими координатами с помощью таких метрик, как косинусное сходство или евклидово расстояние. Такая математическая близость позволяет алгоритмам с высокой эффективностью выполнять сложные задачи, например классификацию и кластеризацию.

Практические применения#

Эмбеддинги служат движущей силой множества интеллектуальных функций, используемых в современных программных продуктах.

• Семантический поиск: Традиционные поисковые системы часто полагаются на точное сопоставление ключевых слов, которое не срабатывает, если пользователь вводит запрос «auto», а в документе содержится слово «car». Эмбеддинги улавливают смысл, стоящий за словами. Представляя поисковый запрос и документы базы данных в виде векторов, система может находить результаты, соответствующие намерению пользователя, даже если конкретные слова различаются.
• Рекомендательные системы: Стриминговые сервисы и сайты электронной коммерции используют эмбеддинги для персонализации пользовательского опыта. Если пользователь смотрит научно-фантастический фильм, система определяет вектор эмбеддинга этого фильма и ищет в базе данных другие фильмы с близкими векторами. Это позволяет формировать точные рекомендации на основе сходства содержания, а не только ручных тегов или категорий.
• Обучение без примеров: Продвинутые модели используют совместные эмбеддинги для связи разных модальностей, например текста и изображений. Благодаря этому система может распознавать объекты, которых она никогда явно не видела во время обучения, сопоставляя эмбеддинг изображения с текстовым эмбеддингом названия объекта.

Генерация эмбеддингов с помощью Python#

Передовые модели, такие как YOLO26, можно эффективно использовать для генерации устойчивых эмбеддингов изображений. В следующем примере показано, как извлечь вектор признаков из изображения с помощью пакета ultralytics для Python.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Generate embeddings for an image
# The embed() method returns the feature vector representing the image content
embedding_vector = model.embed("https://ultralytics.com/images/bus.jpg")

# Print the shape of the embedding (e.g., a vector of length 1280)
print(f"Embedding shape: {embedding_vector[0].shape}")

Эмбеддинги и связанные понятия#

Для эффективной реализации решений на основе AI полезно отличать эмбеддинги от близких по смыслу технических терминов.

• Эмбеддинги и векторный поиск: Эмбеддинг — это само представление данных, то есть список чисел. Векторный поиск — это последующий процесс запроса к базе данных для поиска ближайших соседей этого эмбеддинга. Для хранения и поиска таких эмбеддингов в больших масштабах часто используют специализированные инструменты, известные как векторные базы данных.
• Эмбеддинги и токенизация: В обработке естественного языка (NLP) токенизация — это предварительный этап разбиения текста на более мелкие фрагменты, то есть токены. Затем эти токены сопоставляются с эмбеддингами. Таким образом, токенизация подготавливает данные, а эмбеддинги представляют их смысл.
• Эмбеддинги и глубокое обучение: Глубокое обучение — это более широкая область машинного обучения, основанная на нейронных сетях. Эмбеддинги — это конкретный выходной результат или слой в архитектуре глубокого обучения, часто служащий связующим звеном между исходными входными данными и слоями модели, принимающими решения.

Разработчики, которые хотят управлять жизненным циклом своих наборов данных, включая аннотирование и обучение моделей для генерации пользовательских эмбеддингов, могут использовать Ultralytics Platform. Этот комплексный инструмент упрощает рабочий процесс от управления данными до развёртывания, гарантируя, что эмбеддинги, обеспечивающие работу твоих приложений, создаются на основе высококачественных, тщательно отобранных данных. Независимо от того, используешь ли ты такие фреймворки, как PyTorch или TensorFlow, освоение эмбеддингов — важный этап в создании сложных систем распознавания образов.