Model Merging

Объединение моделей — это инновационный метод в области машинного обучения (ML), который объединяет выученные параметры (веса) нескольких предварительно обученных моделей в одну унифицированную модель. В отличие от традиционных конфигураций с несколькими моделями, этот метод напрямую объединяет веса модели в пространстве параметров. Это позволяет специалистам объединять специализированные знания нескольких моделей, дообученных для разных задач или на разных наборах данных, без затрат памяти и вычислительных ресурсов на одновременный запуск нескольких моделей.

Поскольку операции выполняются непосредственно над весами, объединение моделей сохраняет архитектурный масштаб одной сети. Это особенно ценно при развертывании передовых конвейеров [компьютерного зрения (CV)](https://ultralytics-translation-0.invalid на периферийных устройствах, где критически важны сокращение задержки инференса и экономия памяти.

Отличия объединения моделей#

Полезно отличать объединение моделей от таких связанных понятий, как ансамбль моделей и трансферное обучение.

• Объединение моделей и ансамбль моделей: ансамбль моделей сохраняет отдельные сети раздельно, запуская каждую из них во время инференса и усредняя их выходные данные. Это повышает точность, но многократно увеличивает вычислительные затраты. При объединении моделей фактические веса объединяются до инференса, в результате чего создается одна модель, не требующая дополнительных вычислений во время выполнения.
• Объединение моделей и трансферное обучение: трансферное обучение предполагает дальнейшее обучение базовой модели на новом наборе данных. Для объединения моделей не требуется дополнительное дообучение; вместо этого для объединения уже обученных моделей используются математические операции.

Распространенные методы#

Исследователи разработали несколько методов эффективного объединения весов без разрушения базовых возможностей сети, которые рассматриваются в недавних академических исследованиях на arXiv.

• Усреднение весов: самый простой метод, при котором вычисляется среднее значение весов нескольких моделей с одинаковой архитектурой.
• Арифметика задач: метод, в котором «векторы задач» (разница между дообученной моделью и ее базовой моделью) складываются или вычитаются для объединения или удаления определенных характеристик поведения.
• TIES-Merging: продвинутый подход, устраняющий интерференцию параметров путем отсечения избыточных значений и выбора согласованных знаков в разных моделях, что позволяет сохранять производительность при выполнении разнообразных задач.

Практические применения#

Объединение моделей очень эффективно при создании обобщенных систем без переобучения с нуля.

• Автономные транспортные средства: беспилотный автомобиль может использовать базовую модель Ultralytics YOLO26. Инженеры могут независимо обучить одну версию модели обнаруживать едва заметные движения пешеходов, а другую — распознавать сложные дорожные знаки. Объединение этих двух моделей создает один высокопроизводительный детектор, который одновременно справляется с обеими задачами без двукратного увеличения времени инференса.
• AI в здравоохранении: при анализе медицинских изображений разные исследовательские больницы могут дообучать модели на специализированных локальных наборах данных (например, одну — для МРТ-сканов, а другую — для CT-сканов) из-за строгих законов о конфиденциальности данных. Благодаря безопасному объединению моделей исследователи могут создать комплексный диагностический инструмент, использующий преимущества разнообразных распределений данных.

Пример: простое усреднение весов#

Ты можешь легко выполнить базовое объединение моделей с помощью PyTorch. В следующем примере показано, как усреднить словари состояний двух моделей с идентичной структурой.

import torch

# Load the weights (state dicts) from two identical architectures
weights_a = torch.load("yolo26_task1.pt")["model"].state_dict()
weights_b = torch.load("yolo26_task2.pt")["model"].state_dict()

# Perform simple weight averaging
merged_weights = {k: (weights_a[k] + weights_b[k]) / 2.0 for k in weights_a.keys()}

# Save the newly merged model weights
torch.save({"model": merged_weights}, "yolo26_merged.pt")

Для команд, стремящихся упростить сложные процессы разметки наборов данных, обучения и развертывания, платформа Ultralytics предоставляет интуитивно понятный интерфейс для удобного управления проектами в области компьютерного зрения и AI на всех этапах.