Обучение представлению «Матрешка» (MRL)

Обучение представлению «матрешка» (MRL) — это метод обучения в об ласти искусственного интеллекта (ИИ) и машинного обучения (МО), который заставляет нейронную сеть обучаться многоуровневым вложениям в рамках одного выходного вектора. Вдохновленный русскими матрешками, метод MRL структурирует вложение таким образом, что важная семантическая информация располагается в начале вектора. Это означает, что вектор высокой размерности (например, 1024 измерения) можно сократить до более мелких вложенных подмножеств (таких как 512, 256 или 64 измерения) без потери его базового представления. Такая гибкость значительно снижает вычислительную нагрузку, обычно связанную с задачами поиска информации.

Как работает метод обучения с использованием матрешки

Традиционно модель вложения обучается с целью оптимизации конкретной функции потерь для фиксированного размера выходных данных. Если системе требуется вектор меньшего размера для экономии памяти, необходимо обучить совершенно новую модель. MRL решает эту проблему за счет применения вложенной функции потерь на этапе обучения. Она совместно оптимизирует полное представление и его вложенные подмножества. Такие организации, как OpenAI, внедрили MRL в свои современные API встраивания, что позволяет разработчикам динамически удалять размерности с конца вектора, сохраняя при этом точные оценки косинусного сходства.

Применение в реальном мире

MRL обеспечивает ряд преимуществ при поиске оптимального соотношения между точностью, затратами на хранение данных и пропускной способностью памяти.

• Адаптивный векторный поиск для LLM: в потоках генерации с расширением поиска (RAG) большие языковые модели (LLM) часто опираются на обширные векторные базы данных. Используя MRL, предприятие может выполнить быстрый, грубый семантический поиск с использованием первых 64 измерений встраиваний, а затем переранжировать лучшие результаты с использованием полных 1024-мерных векторов. Этот двухэтапный подход значительно ускоряет векторный поиск и снижает затраты на хранение баз данных.
• Масштабируемое компьютерное зрение на периферии: при развертывании систем компьютерного зрения с использованием Ultralytics аппаратные ограничения могут сильно различаться. Модель, использующая MRL, может передавать полноразмерные визуальные вложения на мощный облачныйсервер, но при работе на маломощных пограничных вычислительных устройствах плавно переключается на передачу усеченных 128-мерных вложений, оптимизируя задержку без переобучения модели.

Дифференциация смежных понятий

Чтобы правильно использовать MRL, полезно отличать его от более старых методов сжатия данных.

• MRL против сокращения размерности: Такие алгоритмы, как PCA (анализ главных компонент) или t-SNE, применяются после обучения для сжатия данных. В отличие от них, MRL изначально встраивается в архитектуру нейронной сети во время обучения, сохраняя более глубокие нелинейные зависимости.
• MRL против обрезки модели: обрезка удаляет веса и слои из самой нейронной сети, чтобы ускорить процесс инференции, например, путем создания более компактного варианта Ultralytics YOLO . MRL не изменяет размер модели ; он изменяет только размер выходного вектора, генерируемого моделью.

Практическая реализация

Усечение вложения MRL чрезвычайно просто и не требует сложной логики семантической индексации. Поскольку наиболее важные признаки имеют высокий вес в самых ранних измерениях, массив можно просто разрезать. В следующем примере показано усечение смоделированного мультимодального вывода YOLO26 с помощью базовых tensor PyTorch .

import torch

# Simulate a full 1024-dimensional MRL embedding returned by a model
full_embedding = torch.rand(1, 1024)

# To deploy on memory-constrained hardware, simply slice the first 256 dimensions
# Because the model was trained with MRL, this subset remains highly accurate
truncated_embedding = full_embedding[:, :256]

print(f"Original size: {full_embedding.shape[1]}, Compressed size: {truncated_embedding.shape[1]}")