Model Soups

Model Soups referem-se a uma técnica de machine learning onde os pesos de várias redes neurais, ajustadas a partir do mesmo modelo base pré-treinado usando diferentes hiperparâmetros, são combinados através de média para criar um único modelo mais robusto. Essa abordagem permite que desenvolvedores melhorem a precisão geral e a generalização sem aumentar o custo computacional durante a inferência.

Ao fazer o ajuste fino (fine-tuning) de um modelo, profissionais geralmente executam uma ampla varredura de hyperparameter tuning para encontrar a configuração de melhor desempenho. Tradicionalmente, o melhor modelo único é selecionado e os demais são descartados. No entanto, criar um Model Soup capitaliza as características diversas aprendidas por todos os modelos na varredura. Ao tirar a média diretamente de seus model weights, a rede resultante frequentemente supera o melhor modelo único, combinando efetivamente seus pontos fortes enquanto minimiza o overfitting. Esse processo é altamente eficiente e pode ser facilmente gerenciado em ambientes colaborativos como a Ultralytics Platform.

Link to this sectionAplicações no Mundo Real#

Model Soups são altamente eficazes em cenários onde os recursos computacionais são restritos, mas alta precisão e robustez são necessárias.

• Visão de Veículos Autônomos: Ao implementar sistemas de object detection em carros autônomos, os modelos precisam generalizar através de diversas condições de iluminação e clima. Ao tirar a média de vários modelos treinados com aumentos de dados e taxas de aprendizado variados, engenheiros criam uma sopa altamente robusta que mantém uma baixa inference latency. Isso garante que as velocidades de processamento em tempo real cruciais para a autonomous navigation permaneçam inalteradas.
• Diagnóstico Médico Móvel: Em aplicações de edge AI, como executar image classification em smartphones para triagem dermatológica inicial, o poder computacional é severamente limitado. Um Model Soup fornece a precisão aprimorada necessária para a confiabilidade clínica, garantindo que o footprint final caiba facilmente em mobile edge devices sem drenar a bateria ou exigir conectividade em nuvem.

Link to this sectionDiferenciando Conceitos Relacionados#

Para navegar pelo cenário da deep learning optimization, é importante distinguir Model Soups de técnicas semelhantes:

• Model Ensemble: O ensembling combina as previsões (saídas) de vários modelos independentes. Embora isso melhore a precisão, exige a execução de cada modelo durante a inferência, multiplicando o custo computacional. Model Soups calculam a média dos pesos antes da inferência, mantendo o custo computacional idêntico ao de um único modelo.
• Model Merging: Este é um termo mais amplo para combinar modelos que podem ter sido treinados em tarefas ou conjuntos de dados totalmente diferentes. Model Soups são um subconjunto específico de merging onde todos os modelos se originam da mesma pre-trained base architecture e são ajustados na mesma tarefa alvo.

Link to this sectionExemplo de Implementação#

Criar um Model Soup uniforme envolve acessar o PyTorch state dictionary de vários modelos treinados e calcular matematicamente a média de seus tensores. Abaixo está um exemplo conciso de como isso pode ser alcançado usando um fluxo de trabalho do Ultralytics YOLO26 suportado nativamente pelo PyTorch framework.

import torch

# Load the PyTorch state dictionaries from two fine-tuned YOLO26 models
model1 = torch.load("yolo26_run1.pt")["model"].state_dict()
model2 = torch.load("yolo26_run2.pt")["model"].state_dict()

# Create a uniform model soup by averaging the model weights
soup_dict = {key: (model1[key] + model2[key]) / 2.0 for key in model1.keys()}

# The resulting soup_dict can now be loaded into a new YOLO26 instance

Ao aproveitar essa técnica, profissionais de visão computacional podem impulsionar facilmente métricas de desempenho como capacidades de zero-shot learning e robustez geral sem sacrificar a velocidade de implantação necessária para arquiteturas modernas de AI focadas em edge.