Лицензия YOLO
Назад к глоссарию Ultralytics

Matryoshka Representation Learning (MRL)

Обучение матрёшечных представлений обучает эмбеддинги, начальные измерения которых работают самостоятельно. Благодаря этому один вектор можно усечь, чтобы сократить расходы на хранение и поиск.

Обучение представлений «матрёшка» (MRL) — это метод обучения, благодаря которому начальные измерения эмбеддинга можно использовать как самостоятельный эмбеддинг. Модель, обученная с помощью MRL, выдаёт один вектор, например длиной 768 измерений, первые 512, 256 или 128 значений которого можно отсечь и напрямую использовать для поиска или классификации; при уменьшении вектора точность постепенно падает. Название отсылает к русским матрёшкам. Кусупати и соавторы представили обучение представлений «матрёшка» на NeurIPS 2022 и сообщили, что при той же точности классификации на ImageNet-1K размер эмбеддингов можно уменьшить до 14 раз, а поиск в больших масштабах ускорить до 14 раз.

Как работает MRL#

Стандартная модель эмбеддингов применяет функцию потерь ко всему вектору, поэтому информация распределяется по всем измерениям, и при усечении часть её теряется. MRL выбирает набор вложенных размеров, обычно удваивая их от 8 до полной длины, применяет функцию потерь задачи к каждому префиксу эмбеддинга и суммирует потери. Каждый префикс должен самостоятельно решать задачу, благодаря чему наиболее полезная информация перемещается в начальные измерения. Кодировщик по-прежнему выполняется один раз для каждого входа, поэтому обучение обходится лишь немного дороже, чем раньше. В эффективном варианте MRL-E для всех размеров используется один классификатор, а каждый префикс задействует первые столбцы его матрицы весов. В примере ниже стандартная модель и модель MRL обучаются на рукописных цифрах из scikit-learn, а для классификации тестовой выборки используются усечённые эмбеддинги:

import torch
import torch.nn.functional as F
from sklearn.datasets import load_digits

torch.manual_seed(0)
x, y = load_digits(return_X_y=True)
x, y = torch.tensor(x / 16, dtype=torch.float32), torch.tensor(y)
n, dims = 1400, [2, 4, 8, 16, 64]  # train/test split and nested prefixes of a 64-dim embedding

for nested in (False, True):
    encoder = torch.nn.Sequential(torch.nn.Linear(64, 256), torch.nn.ReLU(), torch.nn.Linear(256, 64))
    head = torch.nn.Linear(64, 10)  # shared classifier: its first d columns score a d-dim prefix
    optimizer = torch.optim.Adam([*encoder.parameters(), *head.parameters()], lr=1e-3)
    sizes = dims if nested else [64]  # MRL adds a loss for every prefix, a standard model only for all 64
    for step in range(500):
        z = encoder(x[:n])
        loss = sum(F.cross_entropy(z[:, :d] @ head.weight[:, :d].T + head.bias, y[:n]) for d in sizes)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

    z = encoder(x[n:]).detach()  # test embeddings, classified from each truncated prefix
    accuracy = [((z[:, :d] @ head.weight[:, :d].T + head.bias).argmax(1) == y[n:]).float().mean() for d in dims]
    print("MRL:     " if nested else "Standard:", ", ".join(f"{d}d {a:.2f}" for d, a in zip(dims, accuracy)))

Обе модели достигают точности 0.91 на тестовой выборке, используя все 64 измерения. При усечении до 4 измерений точность стандартной модели падает до 0.43, а модель MRL сохраняет 0.88; при 2 измерениях результаты составляют 0.22 и 0.66.

Адаптивный поиск#

MRL снижает стоимость поиска по векторам двумя способами. Хранение только префикса пропорционально уменьшает размер векторной базы данных, а адаптивный, или воронкообразный, поиск сначала ищет по всей коллекции, используя короткий префикс, а затем пересчитывает оценки для короткого списка с помощью полных векторов. Усечённые векторы перед вычислением косинусного сходства или скалярного произведения нужно повторно нормализовать до единичной длины. Платформа Ultralytics выполняет поиск по эмбеддингам в наборах данных: действие «Найти похожие изображения» сравнивает эмбеддинги отдельных изображений в публичных, личных и командных наборах данных и возвращает до 24 ближайших изображений с оценками сходства. Это общий индекс, затраты памяти и поиска в котором растут с каждым измерением эмбеддинга.

  • Снижение размерности: Такие методы, как анализ главных компонент (PCA), после обучения подбирают проекцию для фиксированного набора векторов; эту проекцию нужно хранить и применять к каждому новому вектору. MRL задаёт порядок измерений во время обучения, поэтому усечение сводится к срезу.
  • Векторное квантование: Для хранения каждого вектора используется меньше битов, а не меньше измерений. Эти подходы можно сочетать, например используя префиксы MRL с бинарным квантованием для первичного поиска.
  • Обрезка моделей и дистилляция знаний: Уменьшают модель, создающую эмбеддинги. MRL не меняет кодировщик и уменьшает только его выход.
  • Модель переранжирования: Отдельная, более ресурсоёмкая модель, которая пересчитывает оценки для короткого списка. Благодаря одному эмбеддингу MRL адаптивный поиск реализует более дешёвый вариант той же двухэтапной схемы.

MRL в моделях эмбеддингов#

Модели OpenAI text-embedding-3, выпущенные в январе 2024 года, поддерживают уменьшение длины эмбеддингов с помощью параметра dimensions; при усечении до 256 измерений text-embedding-3-large всё ещё превосходит text-embedding-ada-002 с 1 536 измерениями на бенчмарке MTEB. Sentence Transformers обучает модели MRL с помощью MatryoshkaLoss; этот подход описан во введении в модели эмбеддингов «матрёшка» от Hugging Face. EmbeddingGemma от Google — модель эмбеддингов текста примерно с 300 миллионами параметров — выдаёт 768 измерений, а благодаря усечению MRL предлагает варианты на 512, 256 и 128 измерений.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения