Con l'obiettivo di aiutare tutti ad addestrare e distribuire facilmente i migliori modelli di Vision AI, abbiamo organizzato la nostra prima Ultralytics YOLOv5 Export Competition. Apprezziamo il contatto con i membri della nostra comunità open-source e siamo sempre colpiti dalle numerose applicazioni create dagli utenti.
Scadenza
La competizione si è svolta dal 17 maggio 2021 al 31 settembre 2021 alle 24:00 UTC. Dopo questa data, la competizione è stata chiusa e ulteriori submission non erano idonee per il premio in denaro.
Valutazione
La valutazione si è svolta dal 1° settembre 2021 al 31 settembre 2021. Il nostro team ha esaminato a fondo ogni presentazione.
$10000 in Premi
La migliore submission in ciascuna categoria ha vinto l'intero premio di $2000.00 (2000.00 USD) offerto da Ultralytics per quella categoria.
5 Categorie
Con l'aiuto della nostra fantastica comunità, in precedenza abbiamo creato 5 categorie che rappresentano gli scenari di implementazione nel mondo reale più popolari per i modelli YOLOv5, tra cui Jetson Nano, Raspberry Pi, Google Edge TPU, Desktop CPU e dispositivi Android Edge.
Invii
I nostri partecipanti hanno creato un repository pubblico su Github per la loro presentazione, hanno assegnato al loro lavoro una licenza open source e hanno pubblicato la loro presentazione direttamente in uno dei 5 thread ufficiali delle presentazioni dell'EXPORT Competition per consentire alla comunità di votare. Si noti che questi thread erano solo per le presentazioni ufficiali. Domande o commenti generali sono stati posti direttamente in questo thread o in una nuova discussione. Link alle presentazioni:
1. Nvidia Jetson Nano
2. Google Edge TPU
3. Raspberry Pi
4. CPU Intel/AMD
5. Android
Vincitori della competizione
Dopo molte considerazioni, abbiamo deciso i vincitori per ciascuna delle cinque categorie, che rappresentano gli scenari di implementazione nel mondo reale più popolari per i modelli YOLOv5. Tutti i partecipanti sono stati contattati personalmente e i premi sono stati distribuiti ai nostri vincitori successivamente. Oggi siamo felici di condividere finalmente le migliori soluzioni con voi!
Nvidia Jetson Nano
Premio: $2000
Alexander Mamaev
Google Edge TPU
Premio: $2000
Josh Veitch-Michaelis
Android
Premio: $2000
Yasuhiro Nitta
Raspberry Pi
Premio: $2000
Nessun vincitore *
CPU Intel/AMD
Premio: $2000
Nessun vincitore *
*Le candidature in questa categoria non corrispondevano al set minimo di requisiti in ciascuno dei criteri di valutazione. Pertanto, nessun vincitore è stato selezionato per la categoria questa volta, tuttavia, ci saranno più possibilità per i partecipanti di competere di nuovo in futuro.
Congratulazioni ai vincitori! Assicurati di dare un'occhiata ai loro repository.
"La libreria YOLOv5 è fantastica: viene aggiornata quasi quotidianamente, i modelli funzionano bene e l'esperienza utente è in continuo miglioramento. Gran parte della mia ricerca riguarda il deployment di ML su dispositivi embedded e avevo già lavorato con EdgeTPU, quindi questa mi è sembrata una sfida divertente."
Josh Veitch-Michaelis
Vogliamo anche ringraziare tutti coloro che hanno partecipato al nostro Export Competition! Siamo fortunati ad avere numerosi membri preziosi della nostra community open-source. Sono i contributi di tutti voi che rendono grande la nostra community.
Continuate così, siete fantastici! E continuate a creare! 🚀
Scoring
Le candidature per la competizione Export sono state giudicate sulla base di diversi criteri: semplicità e riproducibilità dei loro metodi di esportazione, la qualità della loro documentazione, la qualità dell'esportazione e la velocità e l'accuratezza dei loro modelli esportati. Queste candidature sono state quindi valutate sia dal team di Ultralytics che dal feedback della comunità.
Qualità dell'esportazione (20%)
L'esportazione più semplice avrà il minor numero di passaggi, richiederà il minor numero di argomenti/parametri, utilizzerà il minor numero di pacchetti importati e sarà eseguibile con la minima quantità di codice.
Qualità della documentazione (20%)
Gli invii devono essere ben documentati utilizzando un file di invio in markdown. Ogni passaggio deve essere spiegato, inclusi setup/requisiti, eventuali impostazioni/argomentazioni, passaggi di esportazione e configurazione dell'ambiente distribuito, se applicabile.
Qualità dell'invio (20%)
Ogni aspetto dell'esportazione e del deployment, a partire da un modello yolov5s.pt ufficiale, deve essere incluso. Per gli ambienti che richiedono requisiti speciali, come Jetson Nano, tutti i pacchetti e/o le immagini Docker devono essere forniti e documentati. Per i deployment Android, deve essere inclusa anche un'app di riferimento Android. Una submission deve includere il 100% di ciò che è necessario per esportare e utilizzare completamente un modello YOLOv5.
Velocità e accuratezza del modello distribuito (40%)
I modelli sottoposti a deployment devono restituire risultati di inferenza quasi identici ai modelli PyTorch YOLOv5 ufficiali (ovvero, inferenza con python detect.py --weights yolov5s.pt). L'accuratezza delle soluzioni sottoposte a deployment sarà analizzata su un set di test hold-out di immagini Ultralytics non disponibili al pubblico. Anche la velocità è molto importante, con le soluzioni di deployment più veloci fortemente favorite. Per Android, le esportazioni ai delegati GPU, NNAPI e Hexagon riceveranno il punteggio più alto.
