Warum Ultralytics YOLO26 NMS entfernt und wie sich dadurch die Bereitstellung verändert

Am 14. Januar haben wir Ultralytics YOLO26 eingeführt, die neueste Generation unserer Computer-Vision-Modelle. Mit YOLO26 wollten wir nicht nur die Genauigkeit oder Geschwindigkeit verbessern, sondern grundlegend überdenken, wie Objekterkennungsmodelle in realen Systemen entwickelt und bereitgestellt werden.

Da sich Computer Vision von der Forschung in die Produktion verlagert, wird zunehmend erwartet, dass Modelle auf CPUs, Edge-Geräten, Kameras, Robotern und eingebetteter Hardware ausgeführt werden können. In diesen Umgebungen sind Zuverlässigkeit, geringe Latenz und eine einfache Bereitstellung genauso wichtig wie die Leistung.

Ultralytics YOLO26 wurde mit Blick auf diese Realität entwickelt und verwendet eine optimierte End-to-End-Architektur, die unnötige Komplexität aus der Inferenzpipeline entfernt. Eine der wichtigsten Neuerungen in YOLO26 ist die Entfernung der Unterdrückung nichtmaximaler Treffer, die allgemein als NMS bezeichnet wird.

NMS war jahrelang ein fester Bestandteil von Objekterkennungssystemen und wurde als Nachverarbeitungsschritt eingesetzt, um doppelte Erkennungen zu bereinigen. Obwohl dieses Verfahren effektiv ist, führt es zu zusätzlichem Rechenaufwand und Herausforderungen bei der Bereitstellung, insbesondere auf Edge-Hardware.

Mit YOLO26 haben wir einen anderen Ansatz gewählt. Indem wir die Erzeugung und das Training von Vorhersagen neu gedacht haben, ermöglichen wir eine echte End-to-End-Inferenz ohne NMS. Das Modell erzeugt die endgültigen Erkennungen direkt, ohne auf externe Bereinigungsschritte oder von Hand erstellte Regeln angewiesen zu sein. Dadurch ist YOLO26 schneller, lässt sich einfacher exportieren und zuverlässiger auf einer Vielzahl von Hardwareplattformen bereitstellen.

Abb. 1. Erkennung von Objekten in einem Bild mit Ultralytics YOLO26.

In diesem Artikel sehen wir uns genauer an, warum die traditionelle Objekterkennung auf NMS angewiesen war, wie NMS zu einem Engpass bei der Bereitstellung wurde und wie Ultralytics YOLO26 den Bedarf an Behelfslösungen beseitigt. Legen wir los!

Traditionelle Objekterkennung erzeugt doppelte Erkennungen#

Bevor wir uns damit befassen, was NMS ist und warum wir es in Ultralytics YOLO26 entfernt haben, werfen wir zunächst einen Blick darauf, wie traditionelle Objekterkennungsmodelle ihre Vorhersagen erzeugen.

Traditionelle Objekterkennungsmodelle erzeugen häufig mehrere überlappende Begrenzungsrahmen für dasselbe Objekt. Jeder dieser Rahmen hat einen eigenen Vertrauenswert, obwohl sich alle auf dasselbe Objekt im Bild beziehen.

Dafür gibt es mehrere Gründe. Erstens erstellt das Modell gleichzeitig Vorhersagen an vielen räumlichen Positionen und in verschiedenen Maßstäben. Das hilft dem Modell, Objekte unterschiedlicher Größe zu erkennen, bedeutet aber auch, dass benachbarte Positionen dasselbe Objekt unabhängig voneinander identifizieren können.

Zweitens verwenden viele Objekterkennungssysteme ankerbasierte Verfahren, die an jeder Position eine große Zahl von Kandidatenrahmen erzeugen. Das erhöht zwar die Wahrscheinlichkeit, Objekte genau zu finden, aber auch die Zahl der überlappenden Vorhersagen.

Schließlich führt bereits die rasterbasierte Erkennung naturgemäß zu Redundanz. Befindet sich ein Objekt nahe der Grenze mehrerer Rasterzellen, können mehrere Zellen einen Rahmen für dieses Objekt vorhersagen, was zu mehreren überlappenden Erkennungen führt.

Daher enthält die Roh-Ausgabe des Modells häufig mehrere Rahmen für ein einzelnes Objekt. Damit die Ergebnisse verwendet werden können, müssen diese redundanten Vorhersagen gefiltert werden, sodass nur eine endgültige Erkennung übrig bleibt.

Die Unterdrückung nichtmaximaler Treffer verstehen#

Sobald ein Objekterkennungsmodell mehrere überlappende Begrenzungsrahmen für dasselbe Objekt erzeugt, müssen diese Ergebnisse vor ihrer Verwendung bereinigt werden. Genau hier kommt die Unterdrückung nichtmaximaler Treffer zum Einsatz.

Die Unterdrückung nichtmaximaler Treffer ist ein Nachverarbeitungsschritt, der nach Abschluss der Vorhersagen durch das Modell ausgeführt wird. Ihr Zweck ist es, doppelte Erkennungen zu reduzieren, sodass jedes Objekt durch einen einzigen endgültigen Begrenzungsrahmen dargestellt wird.

Abb. 2. Ein Überblick über NMS. Bild vom Autor.

Bei diesem Verfahren werden Begrenzungsrahmen anhand ihrer Vertrauenswerte und ihres Überlappungsgrads verglichen. Vorhersagen mit sehr geringem Vertrauen werden zuerst entfernt.

Die verbleibenden Rahmen werden anschließend nach ihrem Vertrauenswert sortiert, und der Rahmen mit dem höchsten Wert wird als beste Erkennung ausgewählt. Dieser ausgewählte Rahmen wird mit den anderen Rahmen verglichen.

Überlappt ein anderer Rahmen zu stark mit ihm, wird dieser unterdrückt und entfernt. Die Überlappung wird typischerweise mithilfe von Intersection over Union gemessen, einer Kennzahl, die das Verhältnis zwischen der von zwei Rahmen gemeinsam bedeckten Fläche und der von beiden insgesamt bedeckten Fläche berechnet. Dieser Vorgang wird wiederholt, bis nur die Erkennungen mit dem höchsten Vertrauen ohne Überlappung übrig bleiben.

Warum NMS die Bereitstellung erschwert#

Die Unterdrückung nichtmaximaler Treffer hilft zwar beim Filtern doppelter Erkennungen, führt aber auch zu Herausforderungen, die deutlicher sichtbar werden, sobald Modelle die Forschung verlassen und in realen Umgebungen bereitgestellt werden.

Eines der größten Probleme ist die Leistung. NMS wird nach der Inferenz ausgeführt und muss Begrenzungsrahmen miteinander vergleichen, um zu entscheiden, welche beibehalten werden.

Dieser Vorgang ist rechenintensiv und lässt sich nur schwer effizient parallelisieren. Auf Edge-Geräten und CPU-basierten Systemen kann dieser zusätzliche Aufwand eine spürbare Latenz verursachen und dadurch das Einhalten von Echtzeitanforderungen erschweren.

NMS erhöht außerdem die Komplexität der Bereitstellung. Da es nicht Bestandteil des Modells selbst ist, muss es separat als Code für die Nachverarbeitung implementiert werden.

Verschiedene Laufzeitumgebungen und Plattformen gehen unterschiedlich mit NMS um, weshalb häufig eigene Implementierungen für jede Zielumgebung gepflegt werden müssen. Was in einer Konfiguration funktioniert, kann sich in einer anderen geringfügig anders verhalten, wodurch die Bereitstellung anfälliger und schwerer skalierbar wird.

Auch die Optimierung für Hardware stellt eine Herausforderung dar. NMS lässt sich nicht gut auf spezialisierte KI-Beschleuniger abbilden, die für die effiziente Ausführung neuronaler Netzwerkoperationen entwickelt wurden. Daher kann NMS selbst dann zum Engpass werden, der die Gesamtleistung begrenzt, wenn das Modell auf optimierter Hardware schnell läuft.

Neben diesen Faktoren ist NMS auf manuell festgelegte Parameter wie Vertrauens- und Überlappungsschwellenwerte angewiesen. Diese Einstellungen können die Ergebnisse erheblich beeinflussen und müssen häufig für unterschiedliche Datensätze, Anwendungen oder Hardware angepasst werden. Dadurch wird das Verhalten in Produktionssystemen weniger vorhersehbar und der Konfigurationsaufwand steigt.

End-to-End-Inferenz für die Objekterkennung erklärt#

Die Einschränkungen der Unterdrückung nichtmaximaler Treffer haben uns dazu veranlasst, das Verhalten von Objekterkennungsmodellen während der Inferenz neu zu überdenken. Statt viele überlappende Vorhersagen zu erzeugen und sie anschließend zu bereinigen, stellten wir eine grundlegendere Frage.

Was wäre, wenn das Modell endgültige Erkennungen direkt erzeugen könnte? Diese Frage bildet den Kern der End-to-End-Inferenz für die Objekterkennung. In einem End-to-End-System wird das Modell darauf trainiert, den gesamten Erkennungsprozess von Anfang bis Ende zu bewältigen, ohne auf externe Bereinigungsschritte angewiesen zu sein.

Statt viele Kandidatenrahmen zu erzeugen und sie nach der Inferenz zu filtern, lernt das Modell, selbstständig eine kleine Zahl vertrauenswürdiger, nicht überlappender Vorhersagen zu erzeugen. Doppelte Erkennungen werden innerhalb des Netzwerks aufgelöst, anstatt durch Nachverarbeitung entfernt zu werden.

Neuere Modellarchitekturen haben gezeigt, dass dieser Ansatz sowohl möglich als auch praxistauglich ist. Mit der richtigen Trainingsstrategie können Modelle lernen, jedes Objekt mit einer einzigen Vorhersage statt mit vielen miteinander konkurrierenden Vorhersagen zu verknüpfen und so Redundanz bereits an ihrer Quelle zu reduzieren.

Abb. 3. Ein Beispiel für die Erkennung von Objekten mit Ultralytics YOLO26.

Damit dies funktioniert, muss sich auch das Training ändern. Statt viele Vorhersagen um dasselbe Objekt konkurrieren zu lassen, lernt das Modell, eine eindeutige Entscheidung zu treffen und dadurch weniger, aber vertrauenswürdigere Erkennungen zu erzeugen.

Das Gesamtergebnis ist eine einfachere Inferenzpipeline. Da doppelte Erkennungen bereits intern aufgelöst werden, ist zur Inferenzzeit keine Unterdrückung nichtmaximaler Treffer erforderlich. Die Modellausgabe ist bereits die endgültige Menge der Erkennungen.

Dieses End-to-End-Design erleichtert auch die Bereitstellung. Ohne Nachverarbeitungsschritte oder plattformspezifische NMS-Implementierungen ist das exportierte Modell vollständig eigenständig und verhält sich über verschiedene Inferenz-Frameworks und Hardwareziele hinweg konsistent.

Wie unser Lead Partnership Engineer Francesco Mattioli erklärt: „Echtes End-to-End-Lernen bedeutet, dass das Modell alles von den Pixeln bis zu den Vorhersagen verarbeiten sollte, ohne von Hand erstellte Nachverarbeitungsschritte, die die Differenzierbarkeit beeinträchtigen und die Bereitstellung erschweren.“

Wie Ultralytics YOLO26 NMS entfernt#

Ultralytics YOLO26 entfernt die Unterdrückung nichtmaximaler Treffer, indem es die Art und Weise verändert, wie Erkennungen gelernt und erzeugt werden, statt sie durch Nachverarbeitung zu bereinigen. Anstatt viele Vorhersagen um dasselbe Objekt konkurrieren zu lassen, wird YOLO26 darauf trainiert, eine eindeutige Eins-zu-eins-Beziehung zwischen Objekten und Ausgaben zu erlernen.

Dies wird teilweise durch erlernbare abfragebasierte Erkennung ermöglicht. Sie hilft dem Modell, sich auf eine einzige, vertrauenswürdige Vorhersage für jedes Objekt zu konzentrieren, statt viele überlappende Kandidaten zu erzeugen. Jedes Objekt wird mit einer Vorhersage verknüpft, wodurch doppelte Erkennungen auf natürliche Weise reduziert werden.

Dieses Verhalten wird durch konsistente Zuordnungsstrategien während des Trainings verstärkt. Dadurch wird das Modell dazu angehalten, pro Objekt eine vertrauenswürdige Entscheidung zu treffen, statt überlappende Vorhersagen zu erzeugen. Letztendlich erzeugt das Modell weniger Vorhersagen, aber jede davon stellt eine endgültige Erkennung dar.

Warum die Entfernung von DFL eine Erkennung ohne NMS ermöglichte#

Eine weitere wichtige Neuerung, die die Inferenz ohne NMS in Ultralytics YOLO26 ermöglicht, ist die Entfernung des Distribution Focal Loss, kurz DFL. In früheren YOLO-Modellen wurde DFL verwendet, um die Regression von Begrenzungsrahmen zu verbessern, indem eine Verteilung möglicher Rahmenpositionen statt eines einzelnen Werts vorhergesagt wurde.

Dieser Ansatz verbesserte zwar die Lokalisierungsgenauigkeit, erhöhte aber auch die Komplexität der Erkennungspipeline. Diese Komplexität wurde zu einer Einschränkung auf dem Weg zu einer echten End-to-End-Inferenz.

DFL führte zusätzlichen Rechenaufwand und feste Regressionsbereiche ein. Dadurch wurde es für das Modell schwieriger, klare Eins-zu-eins-Zuordnungen von Objekten zu erlernen, und die Abhängigkeit von Nachverarbeitungsschritten wie der Unterdrückung nichtmaximaler Treffer nahm zu. Mit Ultralytics YOLO26 haben wir DFL entfernt und die Regression von Begrenzungsrahmen einfacher und direkter gestaltet.

Statt auf verteilungsbasierte Ausgaben angewiesen zu sein, lernt das Modell, genaue Rahmenkoordinaten so vorherzusagen, dass weniger, aber vertrauenswürdigere Erkennungen entstehen. Diese Änderung trägt dazu bei, überlappende Vorhersagen bereits an ihrer Quelle zu reduzieren, und stimmt die Regression von Begrenzungsrahmen auf das End-to-End-Design von Ultralytics YOLO26 ohne NMS ab.

Ultralytics YOLO26 kommt ohne NMS aus und lässt sich einfach bereitstellen#

Ein Design ohne NMS macht Ultralytics YOLO26 zu einem echten End-to-End-Modell. Das wirkt sich erheblich auf den Export von Modellen aus.

Beim Export wird ein trainiertes Modell in ein Format umgewandelt, das außerhalb der Trainingsumgebung ausgeführt werden kann, beispielsweise ONNX, TensorRT, CoreML oder OpenVINO. In traditionellen Pipelines scheitert dieser Prozess häufig, weil die Unterdrückung nichtmaximaler Treffer nicht Bestandteil des Modells selbst ist.

Durch die Entfernung von NMS vermeidet Ultralytics YOLO26 dieses Problem vollständig. Das exportierte Modell enthält bereits alles, was zur Erzeugung endgültiger Erkennungen erforderlich ist.

Dadurch ist das exportierte Modell vollständig eigenständig und lässt sich portabler über verschiedene Inferenz-Frameworks und Hardwareziele hinweg einsetzen. Dasselbe Modell verhält sich konsistent, unabhängig davon, ob es auf Servern, reinen CPU-Systemen, eingebetteten Geräten oder Edge-Beschleunigern bereitgestellt wird. Die Bereitstellung wird unkomplizierter, weil der Export genau dem entspricht, was ausgeführt wird.

Diese Einfachheit ist besonders für Edge-Anwendungen wichtig. YOLO26 lässt sich beispielsweise problemlos auf Geräten wie Drohnen für Anwendungsfälle wie die Überwachung von Nutzpflanzen, Feldinspektionen und die Analyse der Pflanzengesundheit bereitstellen, bei denen begrenzte Rechen- und Energiebudgets komplexe Nachverarbeitungspipelines unpraktisch machen. Da das Modell endgültige Erkennungen direkt ausgibt, läuft es zuverlässig auf ressourcenarmen Geräten, ohne zusätzliche Verarbeitungsschritte.

Abb. 4. Ultralytics YOLO26 lässt sich einfach auf Edge-Geräten wie Drohnen bereitstellen.

Kurz gesagt: Die Inferenz ohne NMS beseitigt Hindernisse beim Export und bei der Bereitstellung und ermöglicht sauberere, zuverlässigere Bildverarbeitungssysteme. NMS war eine Behelfslösung. Ultralytics YOLO26 benötigt keine Behelfslösungen mehr.

Wichtige Erkenntnisse#

Ultralytics YOLO26 entfernt die Unterdrückung nichtmaximaler Treffer, indem es das zugrunde liegende Problem doppelter Erkennungen löst, statt sie nachträglich zu bereinigen. Sein End-to-End-Design ermöglicht es dem Modell, endgültige Erkennungen direkt zu erzeugen, wodurch Export und Bereitstellung über verschiedene Hardware hinweg einfacher und konsistenter werden. NMS war eine nützliche Behelfslösung für frühere Systeme, wird von YOLO26 aber nicht mehr benötigt.

Tritt unserer Community bei und sieh dir unser GitHub-Repository an, um mehr über KI zu erfahren. Entdecke unsere Lösungsseiten zu KI in der Landwirtschaft und Computer Vision im Einzelhandel. Informiere dich über unsere Lizenzierungsoptionen und starte noch heute mit Vision-KI!