Model Merging

Die Modellzusammenführung ist eine innovative Technik im Bereich des maschinellen Lernens (ML), bei der die gelernten Parameter (Gewichte) mehrerer vortrainierter Modelle zu einem einzigen, einheitlichen Modell kombiniert werden. Anders als bei herkömmlichen Konfigurationen mit mehreren Modellen werden die Modellgewichte direkt im Parameterraum miteinander verschmolzen. So können Fachleute das spezialisierte Wissen mehrerer Modelle kombinieren, die für unterschiedliche Aufgaben oder Datensätze feinabgestimmt wurden, ohne den Speicher- und Rechenaufwand für den gleichzeitigen Betrieb mehrerer Modelle in Kauf nehmen zu müssen.

Durch die direkte Anwendung von Operationen auf die Gewichte bewahrt die Modellzusammenführung den architektonischen Umfang eines einzelnen Netzwerks. Das ist besonders wertvoll, wenn fortschrittliche Pipelines für Computer Vision (CV) auf Edge-Geräten eingesetzt werden, bei denen die Reduzierung der Inferenzlatenz und die Einsparung von Speicher entscheidend sind.

Modellzusammenführung abgrenzen#

Es ist hilfreich, die Modellzusammenführung von verwandten Konzepten wie Modellensemble und Transferlernen zu unterscheiden.

• Modellzusammenführung im Vergleich zum Modellensemble: Ein Modellensemble hält die einzelnen Netzwerke getrennt, führt jedes während der Inferenz aus und mittelt ihre Ausgaben. Das erhöht die Genauigkeit, vervielfacht jedoch den Rechenaufwand. Bei der Modellzusammenführung werden die tatsächlichen Gewichte vor der Inferenz kombiniert. Dadurch entsteht ein einzelnes Modell, das zur Laufzeit keine zusätzliche Rechenleistung benötigt.
• Modellzusammenführung im Vergleich zum Transferlernen: Beim Transferlernen wird ein Basismodell genommen und mit einem neuen Datensatz weitertrainiert. Für die Modellzusammenführung ist kein zusätzliches Feinabstimmen erforderlich; stattdessen werden bereits trainierte Modelle mithilfe mathematischer Operationen miteinander verschmolzen.

Gängige Techniken#

Forschende haben mehrere Methoden entwickelt, um Gewichte effektiv zu kombinieren, ohne die zugrunde liegenden Fähigkeiten des Netzwerks zu zerstören, wie aktuelle wissenschaftliche Forschung auf arXiv zeigt.

• Gewichtsmittelung: Die einfachste Methode, bei der der Mittelwert der Gewichte mehrerer Modelle mit derselben Architektur gebildet wird.
• Aufgabenarithmetik: Eine Technik, bei der „Aufgabenvektoren“ (die Differenz zwischen einem feinabgestimmten Modell und seinem Basismodell) addiert oder subtrahiert werden, um bestimmte Verhaltensweisen zu kombinieren oder zu entfernen.
• TIES-Merging: Ein fortschrittlicher Ansatz, der Parameterinterferenzen behebt, indem redundante Werte entfernt und konsistente Vorzeichen über mehrere Modelle hinweg ausgewählt werden, wodurch die Leistung bei unterschiedlichen Aufgaben erhalten bleibt.

Anwendungen in der Praxis#

Die Modellzusammenführung eignet sich hervorragend zum Aufbau generalisierter Systeme, ohne sie von Grund auf neu trainieren zu müssen.

• Autonome Fahrzeuge: Ein selbstfahrendes Auto könnte ein Ultralytics YOLO26-Basismodell verwenden. Ingenieure können unabhängig voneinander eine Modellversion trainieren, um subtile Bewegungen von Fußgängern zu erkennen, und eine andere, um komplexe Verkehrsschilder zu lesen. Durch die Zusammenführung dieser beiden Modelle entsteht ein einzelner, äußerst leistungsfähiger Detektor, der beide Aufgaben gleichzeitig bewältigt, ohne die Inferenzzeit zu verdoppeln.
• KI im Gesundheitswesen: In der medizinischen Bildgebung könnten verschiedene Forschungskrankenhäuser Modelle aufgrund strenger Datenschutzgesetze mit spezialisierten lokalen Datensätzen feinabstimmen, etwa eines für MRI-Aufnahmen und eines für CT-Aufnahmen. Durch die sichere Zusammenführung der Modelle können Forschende ein umfassendes Diagnosewerkzeug entwickeln, das von unterschiedlichen Datenverteilungen profitiert.

Beispiel: Einfache Gewichtsmittelung#

Mit PyTorch kannst du problemlos eine einfache Modellzusammenführung durchführen. Das folgende Beispiel zeigt, wie die Zustandsdictionaries zweier strukturell identischer Modelle gemittelt werden.

import torch

# Load the weights (state dicts) from two identical architectures
weights_a = torch.load("yolo26_task1.pt")["model"].state_dict()
weights_b = torch.load("yolo26_task2.pt")["model"].state_dict()

# Perform simple weight averaging
merged_weights = {k: (weights_a[k] + weights_b[k]) / 2.0 for k in weights_a.keys()}

# Save the newly merged model weights
torch.save({"model": merged_weights}, "yolo26_merged.pt")

Für Teams, die die komplexen Abläufe bei Datensatzannotation, Training und Bereitstellung vereinfachen möchten, bietet die Ultralytics Platform eine intuitive Oberfläche zur mühelosen Verwaltung durchgängiger KI-Projekte für Computer Vision.