Perché Ultralytics YOLO26 rimuove NMS e come ciò cambia l'implementazione

Il 14 gennaio abbiamo lanciato Ultralytics YOLO26, l'ultima generazione dei nostri modelli di computer vision. Con YOLO26, il nostro obiettivo non era solo migliorare la precisione o la velocità, ma ripensare il modo in cui i modelli di object detection vengono costruiti e distribuiti nei sistemi del mondo reale.

Mentre la computer vision passa dalla ricerca alla produzione, ci si aspetta sempre più che i modelli vengano eseguiti su CPU, edge device, telecamere, robot e hardware embedded. In questi ambienti, l'affidabilità, la bassa latenza e la facilità di distribuzione contano tanto quanto le prestazioni.

Ultralytics YOLO26 è stato progettato tenendo a mente questa realtà, utilizzando un'architettura end-to-end ottimizzata che rimuove la complessità non necessaria dalla pipeline di inferenza. Una delle innovazioni più importanti introdotte in YOLO26 è la rimozione del Non-Maximum Suppression, comunemente noto come NMS.

Per anni, NMS è stato una parte standard dei sistemi di object detection, utilizzato come passaggio di post-processing per eliminare i rilevamenti duplicati. Sebbene efficace, ha anche introdotto calcoli extra e sfide di deployment, specialmente su hardware edge.

Con YOLO26 abbiamo adottato un approccio diverso. Ripensando il modo in cui le predizioni vengono generate e addestrate, consentiamo un'inferenza true end-to-end e priva di NMS. Il modello produce le rilevazioni finali direttamente, senza fare affidamento su passaggi di pulizia esterni o regole realizzate a mano. Questo rende YOLO26 più veloce, più facile da esportare e più affidabile da distribuire su un'ampia gamma di piattaforme hardware.

Fig 1. Rilevamento di oggetti in un'immagine utilizzando Ultralytics YOLO26.

In questo articolo analizzeremo più da vicino perché il rilevamento di oggetti tradizionale si affidava a NMS, come sia diventato un collo di bottiglia per il deployment e come Ultralytics YOLO26 elimini la necessità di soluzioni alternative. Iniziamo!

La tradizionale object detection produce rilevamenti duplicati#

Prima di approfondire cos'è NMS e perché lo abbiamo rimosso in Ultralytics YOLO26, facciamo un passo indietro e vediamo come i modelli di rilevamento di oggetti tradizionali generano le loro predizioni.

I modelli di object detection tradizionali producono spesso più bounding box sovrapposti per lo stesso oggetto. Ognuno di questi box ha il proprio punteggio di confidenza, anche se tutti si riferiscono allo stesso oggetto nell'immagine.

Ciò accade per alcune ragioni. Primo, il modello effettua predizioni in molte posizioni spaziali e su diverse scale contemporaneamente. Questo aiuta il modello a rilevare oggetti di dimensioni diverse, ma significa anche che posizioni vicine possono identificare lo stesso oggetto in modo indipendente.

Secondo, molti sistemi di object detection utilizzano approcci basati su anchor, che generano un gran numero di box candidati attorno a ciascuna posizione. Sebbene ciò migliori le possibilità di trovare gli oggetti con precisione, aumenta anche il numero di predizioni sovrapposte.

Infine, il rilevamento basato su griglia porta naturalmente alla ridondanza. Quando un oggetto si trova vicino al confine di più celle della griglia, diverse celle potrebbero predire un box per quell'oggetto, risultando in più rilevamenti sovrapposti.

Per questo motivo, l'output grezzo del modello contiene spesso diversi box per un singolo oggetto. Per rendere utilizzabili i risultati, queste predizioni ridondanti devono essere filtrate in modo che rimanga solo un rilevamento finale.

Capire il Non-Maximum Suppression#

Una volta che un modello di object detection produce più bounding box sovrapposti per lo stesso oggetto, quei risultati devono essere ripuliti prima di poter essere utilizzati. È qui che viene applicato il Non-Maximum Suppression.

Il Non-Maximum Suppression è un passaggio di post-processing che viene eseguito dopo che il modello ha terminato di effettuare le sue predizioni. Il suo scopo è ridurre i rilevamenti duplicati in modo che ogni oggetto sia rappresentato da un singolo bounding box finale.

Fig 2. Una panoramica del NMS. Immagine dell'autore.

Il processo funziona confrontando i bounding box in base ai loro punteggi di confidenza e a quanto si sovrappongono. Le predizioni con una confidenza molto bassa vengono rimosse per prime.

I box rimanenti vengono quindi ordinati per confidenza e il box con il punteggio più alto viene selezionato come il miglior rilevamento. Quel box selezionato viene confrontato con gli altri.

Se un altro riquadro si sovrappone troppo a esso, quel riquadro viene soppresso e rimosso. La sovrapposizione viene solitamente misurata utilizzando l'Intersection over Union, una metrica che calcola il rapporto tra l'area condivisa da due riquadri e l'area totale coperta da entrambi. Questo processo si ripete finché non rimangono solo le rilevazioni più sicure e non sovrapposte.

Perché NMS complica il deployment#

Sebbene il Non-Maximum Suppression aiuti a filtrare i rilevamenti duplicati, introduce anche sfide che diventano più visibili una volta che i modelli escono dalla ricerca e passano al deployment nel mondo reale.

Uno dei problemi principali è la performance. NMS viene eseguito dopo l'inferenza e richiede di confrontare i bounding box tra loro per decidere quali mantenere.

Questo processo è computazionalmente costoso e difficile da parallelizzare in modo efficiente. Su edge device e sistemi basati su CPU, questo lavoro extra può aggiungere una latenza notevole, rendendo più difficile soddisfare i requisiti in tempo reale.

NMS aumenta anche la complessità del deployment. Poiché non fa parte del modello stesso, deve essere implementato separatamente come codice di post-processing.

Runtime e piattaforme diversi gestiscono NMS in modi diversi, il che spesso significa dover mantenere implementazioni personalizzate per ogni ambiente di destinazione. Ciò che funziona in una configurazione potrebbe comportarsi in modo leggermente diverso in un'altra, rendendo il deployment più fragile e difficile da scalare.

L'ottimizzazione dell'hardware è un'altra sfida. NMS non si adatta bene agli acceleratori AI specializzati, progettati per eseguire operazioni di rete neurale in modo efficiente. Di conseguenza, anche quando il modello viene eseguito rapidamente su hardware ottimizzato, NMS può diventare un collo di bottiglia che limita le prestazioni complessive.

Oltre a questi fattori, NMS si basa su parametri scelti manualmente come soglie di confidenza e soglie di sovrapposizione. Queste impostazioni possono influenzare significativamente i risultati e spesso devono essere regolate per diversi dataset, applicazioni o hardware. Ciò rende il comportamento meno prevedibile nei sistemi di produzione e aggiunge un overhead di configurazione extra.

Spiegazione dell'inferenza end-to-end nell'object detection#

Le limitazioni del Non-Maximum Suppression ci hanno spinto a ripensare il comportamento che i modelli di object detection dovrebbero avere in fase di inferenza. Invece di generare molte predizioni sovrapposte e ripulirle in seguito, abbiamo posto una domanda più fondamentale.

Cosa succederebbe se il modello potesse produrre direttamente i rilevamenti finali? Questa domanda è al centro dell'inferenza di object detection end-to-end. In un sistema end-to-end, il modello viene addestrato per gestire l'intero processo di rilevamento dall'inizio alla fine, senza fare affidamento su passaggi di pulizia esterni.

Piuttosto che produrre molti box candidati e filtrarli dopo l'inferenza, il modello impara a generare autonomamente un piccolo set di predizioni sicure e non sovrapposte. I rilevamenti duplicati vengono risolti all'interno della rete invece di essere rimossi tramite post-processing.

Le nuove architetture di modelli hanno dimostrato che questo approccio era possibile e pratico. Con la giusta strategia di addestramento, i modelli potevano imparare ad associare ogni oggetto a una singola predizione invece che a molte in competizione, riducendo la ridondanza alla fonte.

Fig 3. Un esempio di rilevamento di oggetti utilizzando Ultralytics YOLO26.

Affinché funzioni, anche l'addestramento deve cambiare. Invece di lasciare che molte predizioni competano per lo stesso oggetto, il modello impara a prendere una decisione chiara, producendo rilevamenti più ridotti e più sicuri.

Il risultato complessivo è una pipeline di inferenza più semplice. Poiché i duplicati vengono risolti internamente, non c'è bisogno del Non-Maximum Suppression durante l'inferenza. L'output del modello è già il set finale di rilevamenti.

Questo design end-to-end rende anche il deployment più semplice. Senza passaggi di post-processing o implementazioni NMS specifiche per la piattaforma, il modello esportato è completamente autosufficiente e si comporta in modo coerente tra diversi framework di inferenza e target hardware.

Come spiega il nostro Lead Partnership Engineer, Francesco Mattioli, "True end-to-end learning significa che il modello dovrebbe gestire tutto dai pixel alle predizioni, senza passaggi di post-elaborazione manuali che interrompono la differenziabilità e complicano la distribuzione."

Come Ultralytics YOLO26 rimuove NMS#

Ultralytics YOLO26 rimuove il Non-Maximum Suppression modificando il modo in cui i rilevamenti vengono appresi e prodotti, anziché affidarsi al post-processing per ripulirli. Invece di consentire a molte predizioni di competere per lo stesso oggetto, YOLO26 è addestrato per apprendere una chiara relazione uno-a-uno tra oggetti e output.

Ciò è abilitato in parte dal rilevamento basato su query apprendibili, che aiuta il modello a concentrarsi sulla produzione di una singola predizione sicura per ogni oggetto piuttosto che su molti candidati sovrapposti. Ogni oggetto è associato a una predizione, riducendo naturalmente i rilevamenti duplicati.

Questo comportamento è rafforzato attraverso strategie di matching coerenti durante l'addestramento, incoraggiando il modello a prendere una decisione sicura per oggetto invece di generare predizioni sovrapposte. Alla fine, il modello produce meno predizioni, ma ognuna di esse rappresenta un rilevamento finale.

Perché la rimozione di DFL ha reso possibile il rilevamento senza NMS#

Un'altra importante innovazione che consente l'inferenza senza NMS in Ultralytics YOLO26 è la rimozione di Distribution Focal Loss, o DFL. Nei modelli YOLO precedenti, DFL veniva utilizzata per migliorare la regressione dei bounding box prevedendo una distribuzione di possibili posizioni dei box anziché un singolo valore.

Sebbene questo approccio abbia migliorato la precisione della localizzazione, ha anche aggiunto complessità alla pipeline di rilevamento. Tale complessità è diventata un limite nel passaggio verso una vera inferenza end-to-end.

DFL introduceva calcoli aggiuntivi e intervalli di regressione fissi, il che rendeva più difficile per il modello apprendere assegnazioni di oggetti uno-a-uno pulite e aumentava la dipendenza da fasi di post-elaborazione come Non-Maximum Suppression. Con Ultralytics YOLO26, abbiamo rimosso DFL e riprogettato la regressione dei bounding box affinché sia più semplice e diretta.

Invece di affidarsi a output basati sulla distribuzione, il modello impara a prevedere coordinate dei box accurate in un modo che supporta rilevamenti inferiori e più sicuri. Questo cambiamento aiuta a ridurre le predizioni sovrapposte alla fonte e allinea la regressione dei bounding box al design end-to-end e senza NMS di Ultralytics YOLO26.

Ultralytics YOLO26 è senza NMS e facile da distribuire#

Un design senza NMS rende Ultralytics YOLO26 un modello veramente end-to-end. Questo ha un impatto importante sulla esportazione dei modelli.

Esportare significa convertire un modello addestrato in un formato che può essere eseguito al di fuori dell'ambiente di addestramento, come ONNX, TensorRT, CoreML o OpenVINO. Nelle pipeline tradizionali, questo processo spesso fallisce perché il Non-Maximum Suppression non fa parte del modello stesso.

Rimuovendo NMS, Ultralytics YOLO26 evita completamente questo problema. Il modello esportato include già tutto il necessario per produrre le rilevazioni finali.

Ciò rende il modello esportato completamente autosufficiente e più portabile tra framework di inferenza e target hardware. Lo stesso modello si comporta in modo coerente sia che venga distribuito su server, sistemi solo CPU, dispositivi embedded o acceleratori edge. Il deployment diventa più semplice perché ciò che esporti è esattamente ciò che esegui.

Questa semplicità è particolarmente importante per le applicazioni edge. Ad esempio, YOLO26 può essere facilmente distribuito su dispositivi come droni per casi d'uso come il monitoraggio delle colture, l'ispezione dei campi e l'analisi della salute delle piante, dove budget di calcolo e di energia limitati rendono impraticabili pipeline di post-elaborazione complesse. Poiché il modello restituisce direttamente le rilevazioni finali, viene eseguito in modo affidabile su hardware leggero senza passaggi di elaborazione extra.

Fig 4. Ultralytics YOLO26 è facile da distribuire su edge device come i droni.

In breve, l'inferenza senza NMS elimina gli ostacoli all'esportazione e al deployment e consente sistemi di visione più puliti e affidabili. NMS era un workaround. Ultralytics YOLO26 non ha più bisogno di workaround.

Punti chiave#

Ultralytics YOLO26 rimuove il Non-Maximum Suppression risolvendo il problema sottostante dei rilevamenti duplicati, anziché ripulirli a posteriori. Il suo design end-to-end consente al modello di produrre direttamente i rilevamenti finali, rendendo l'esportazione e il deployment più semplici e coerenti su diversi hardware. NMS era una soluzione pratica utile per i sistemi precedenti, ma YOLO26 non ne ha più bisogno.

Unisciti alla nostra community e dai un'occhiata al nostro repository GitHub per saperne di più sull'IA. Esplora le pagine delle nostre soluzioni su IA in agricoltura e computer vision nel retail. Scopri le nostre opzioni di licensing e inizia subito con la vision AI!