Model Merging

A fusão de modelos é uma técnica inovadora em machine learning (ML) que combina os parâmetros aprendidos (pesos) de múltiplos modelos pré-treinados num único modelo unificado. Ao contrário das configurações tradicionais de múltiplos modelos, a fusão combina diretamente os model weights no espaço de parâmetros. Isto permite aos profissionais combinar o conhecimento especializado de vários modelos ajustados em diferentes tarefas ou conjuntos de dados, sem incorrer nos custos de memória e computacionais de executar múltiplos modelos simultaneamente.

Ao aplicar operações diretamente aos pesos, a fusão de modelos mantém a pegada arquitetónica de uma única rede. Isto é particularmente valioso ao implementar pipelines avançados de computer vision (CV) em dispositivos de edge, onde reduzir a inference latency e poupar memória são cruciais.

Link to this sectionDistinguir a Fusão de Modelos#

É útil diferenciar a fusão de modelos de conceitos relacionados como Model Ensemble e Transfer Learning.

• Fusão de Modelos vs. Model Ensemble: Um model ensemble mantém redes individuais separadas, executando cada uma durante a inferência e calculando a média das suas saídas. Isto aumenta a precisão, mas multiplica a carga computacional. A fusão de modelos combina os pesos reais antes da inferência, resultando num único modelo que não requer processamento extra em tempo de execução.
• Fusão de Modelos vs. Transfer Learning: O transfer learning envolve pegar num modelo base e treiná-lo adicionalmente num novo conjunto de dados. A fusão de modelos não requer fine-tuning adicional; utiliza operações matemáticas para fundir modelos já treinados.

Link to this sectionTécnicas Comuns#

Os investigadores desenvolveram vários métodos para combinar pesos de forma eficaz sem destruir as capacidades subjacentes da rede, conforme explorado em academic research on arXiv recentes.

• Weight Averaging: O método mais simples, que calcula a média dos pesos de múltiplos modelos que partilham a mesma arquitetura.
• Task Arithmetic: Uma técnica onde "vetores de tarefa" (a diferença entre um modelo ajustado e o seu modelo base) são somados ou subtraídos para combinar ou remover comportamentos específicos.
• TIES-Merging: Uma abordagem avançada que resolve a interferência de parâmetros ao cortar valores redundantes e eleger sinais consistentes entre modelos, preservando o desempenho em diversas tarefas.

Link to this sectionAplicações no Mundo Real#

A fusão de modelos é altamente eficaz para criar sistemas generalizados sem necessidade de re-treino do zero.

• Autonomous Vehicles: Um carro autónomo pode usar um modelo base Ultralytics YOLO26. Os engenheiros podem treinar de forma independente uma versão do modelo para detetar movimentos subtis de peões e outra para ler sinais de trânsito complexos. A fusão destes dois modelos cria um detetor único e altamente capaz que lida com ambas as tarefas simultaneamente sem duplicar o tempo de inferência.
• AI in Healthcare: Em imagiologia médica, diferentes hospitais de investigação podem ajustar modelos em conjuntos de dados locais especializados (por exemplo, um para exames de ressonância magnética e outro para tomografias computorizadas) devido a leis rigorosas de privacidade de dados. Ao fundir os modelos de forma segura, os investigadores podem criar uma ferramenta de diagnóstico abrangente que beneficia de distribuições de dados diversas.

Link to this sectionExemplo: Média de Pesos Simples#

Podes realizar facilmente uma fusão básica de modelos utilizando PyTorch. O exemplo seguinte demonstra como calcular a média dos dicionários de estado de dois modelos com estruturas idênticas.

import torch

# Load the weights (state dicts) from two identical architectures
weights_a = torch.load("yolo26_task1.pt")["model"].state_dict()
weights_b = torch.load("yolo26_task2.pt")["model"].state_dict()

# Perform simple weight averaging
merged_weights = {k: (weights_a[k] + weights_b[k]) / 2.0 for k in weights_a.keys()}

# Save the newly merged model weights
torch.save({"model": merged_weights}, "yolo26_merged.pt")

Para equipas que procuram simplificar os fluxos de trabalho complexos de anotação de conjuntos de dados, treino e implementação, a Ultralytics Platform fornece uma interface intuitiva para gerir projetos de IA de visão de ponta a ponta sem esforço.