Florence-2: l'ultimo modello di linguaggio visivo di Microsoft

Nel giugno 2024, Microsoft ha introdotto Florence-2, un modello di linguaggio visivo (VLM) multimodale progettato per gestire un'ampia gamma di attività tra cui rilevamento di oggetti, segmentazione, didascalie di immagini e grounding. Florence-2 stabilisce un nuovo punto di riferimento per le prestazioni zero-shot, il che significa che può eseguire attività senza un addestramento specifico precedente, e vanta dimensioni del modello inferiori rispetto ad altri modelli di visione-linguaggio all'avanguardia.

È molto più di un semplice modello; la versatilità e le prestazioni migliorate di Florence-2 hanno il potenziale di incidere in modo significativo su vari settori, migliorando la precisione e riducendo la necessità di una formazione approfondita. In questo articolo, esploreremo le caratteristiche innovative di Florence-2, confronteremo le sue prestazioni con altri VLM e discuteremo le sue potenziali applicazioni.

Cos'è Florence-2?#

Florence-2 può gestire una varietà di attività all'interno di un unico framework unificato. Le impressionanti capacità del modello sono in parte dovute al suo massiccio dataset di addestramento chiamato FLD-5B. FLD-5B include 5,4 miliardi di annotazioni su 126 milioni di immagini. Questo dataset completo è stato creato appositamente per fornire a Florence-2 le capacità necessarie per gestire un'ampia gamma di attività di visione con elevata precisione ed efficienza.

Ecco uno sguardo più da vicino alle attività supportate da Florence-2:

• Rilevamento di oggetti: Può identificare e localizzare oggetti all'interno delle immagini con elevata precisione.
• Segmentazione: Questa attività comporta la divisione di un'immagine in segmenti significativi per un'analisi e un'interpretazione più semplici.
• Image Captioning: Florence-2 è in grado di generare didascalie descrittive per le immagini che forniscono contesto e dettagli.
• Visual Grounding: Il modello può associare frasi o parole specifiche in una didascalia alle regioni corrispondenti nell'immagine.
• Zero-shot Performance: Può eseguire attività senza una formazione specifica.

Fig 1. Capire come è stato addestrato Florence-2.

Il modello supporta sia attività basate sul testo che basate su regioni. Vengono aggiunti token di posizione speciali al vocabolario del modello per le attività che coinvolgono regioni specifiche di un'immagine. Questi token aiutano il modello a comprendere diverse forme, come rettangoli attorno agli oggetti (box representation), forme a quattro lati (quad box representation) e forme a molti lati (polygon representation). Il modello viene addestrato utilizzando un metodo chiamato cross-entropy loss, che lo aiuta a imparare confrontando le sue previsioni con le risposte corrette e regolando di conseguenza i suoi parametri interni.

Creazione del dataset FLD-5B#

Il dataset FLD-5B include diversi tipi di annotazioni: descrizioni testuali, coppie di regioni e testo e combinazioni di testo, frasi e regioni. È stato creato attraverso un processo in due fasi che coinvolge raccolta e annotazione di dati. Le immagini sono state prese da dataset popolari come ImageNet-22k, Object 365, Open Images, Conceptual Captions e LAION. Le annotazioni nel dataset FLD-5B sono per lo più sintetiche, il che significa che sono state generate automaticamente anziché etichettate manualmente.

Fig 2. Creazione del dataset FLD-5B.

Inizialmente, modelli specialisti esperti in attività specifiche, come l'object detection o la segmentation, hanno creato queste annotazioni. Successivamente, è stato utilizzato un processo di filtrazione e miglioramento per garantire che le annotazioni fossero dettagliate e accurate. Dopo aver rimosso eventuali rumori, il dataset è stato sottoposto a un perfezionamento iterativo, in cui gli output di Florence-2 sono stati utilizzati per aggiornare e migliorare continuamente le annotazioni.

Comprendere l'architettura del modello Florence-2#

L'architettura del modello Florence-2 segue un approccio di apprendimento sequence-to-sequence. Ciò significa che il modello elabora una sequenza di input (come un'immagine con un prompt di testo) e genera una sequenza di output (come una descrizione o un'etichetta) passo dopo passo. Nel framework sequence-to-sequence, ogni attività viene trattata come un problema di traduzione: il modello prende un'immagine di input e un prompt specifico per l'attività e genera l'output corrispondente.

Fig 3. L'architettura del modello di visione-linguaggio di Florence-2.

Al centro dell'architettura del modello c'è un Transformer encoder-decoder multimodale, che combina un image encoder e un encoder-decoder multimodale. L'image encoder, chiamato DaViT (Data-efficient Vision Transformer), elabora le immagini di input convertendole in visual token embedding: rappresentazioni compatte dell'immagine che catturano sia informazioni spaziali (dove si trovano le cose) che semantiche (cosa sono le cose). Questi visual token vengono quindi combinati con text embedding (rappresentazioni del testo), consentendo al modello di unire senza problemi dati testuali e visivi.

Confronto di Florence-2 con altri VLM#

Florence-2 si distingue dagli altri vision-language model per le sue impressionanti capacità zero-shot. A differenza di modelli come PaliGemma, che si affidano a un ampio fine-tuning per adattarsi a varie attività, Florence-2 funziona bene fin da subito. Inoltre, Florence-2 è in grado di competere con modelli più grandi come GPT-4V e Flamingo, che spesso hanno molti più parametri ma non sempre eguagliano le prestazioni di Florence-2. Ad esempio, Florence-2 ottiene risultati zero-shot migliori di Kosmos-2, nonostante Kosmos-2 abbia oltre il doppio dei parametri.

Nei test di benchmark, Florence-2 ha mostrato prestazioni straordinarie in attività come la generazione di didascalie COCO e la comprensione di espressioni di riferimento. Ha superato modelli come PolyFormer e UNINEXT nelle attività di rilevamento di oggetti e segmentazione sul dataset COCO. È una scelta altamente competitiva per applicazioni del mondo reale in cui sia le prestazioni che l'efficienza delle risorse sono cruciali.

Applicazioni di Florence-2#

Florence-2 può essere utilizzato in molti settori diversi, come intrattenimento, accessibilità, istruzione, ecc. Vediamo alcuni esempi per capire meglio.

Applicazioni dell'image captioning#

Quando sei su una piattaforma di streaming e cerchi di decidere cosa guardare, potresti leggere un riassunto di un film per aiutarti a scegliere. E se la piattaforma potesse fornire anche una descrizione dettagliata della locandina del film? Florence-2 può renderlo possibile attraverso l'image captioning, che genera testo descrittivo per le immagini. Florence-2 può generare descrizioni dettagliate delle locandine dei film, rendendo le piattaforme di streaming più inclusive per gli utenti ipovedenti. Analizzando gli elementi visivi di una locandina, come personaggi, scenari e testo, Florence-2 può creare descrizioni dettagliate che trasmettono il contenuto e l'atmosfera della locandina. L'immagine qui sotto mostra il livello di dettaglio che Florence-2 può fornire nella sua descrizione.

Fig 4. Un esempio di didascalia di un'immagine generata da Florence-2.

Ecco altri esempi in cui l'image captioning può essere utile:

• E-commerce: La generazione di didascalie per immagini può fornire descrizioni dettagliate delle immagini dei prodotti, aiutando i clienti a comprendere le caratteristiche e i dettagli dei prodotti in modo più chiaro.
• Viaggi e turismo: Può fornire descrizioni dettagliate di monumenti e attrazioni in guide e app di viaggio.
• Istruzione: L'image captioning può etichettare e descrivere immagini e diagrammi didattici, aiutando nell'insegnamento e nell'apprendimento.
• Immobiliare: Può fornire descrizioni dettagliate delle immagini di proprietà che evidenziano caratteristiche e servizi per i potenziali acquirenti.

Usare il visual grounding mentre si cucina#

Florence-2 può anche essere utilizzato per arricchire le esperienze culinarie. Ad esempio, un libro di cucina online potrebbe utilizzare Florence-2 per effettuare il visual grounding ed etichettare parti dell'immagine di una ricetta complessa. Il visual grounding aiuta in questo caso collegando parti specifiche dell'immagine al corrispondente testo descrittivo. Ogni ingrediente e passaggio può essere etichettato e spiegato accuratamente, rendendo più facile per chi cucina a casa seguire la ricetta e comprendere il ruolo di ogni componente nel piatto.

Fig 5. Un esempio di visual grounding con Florence-2.

OCR basato su regione per documenti finanziari#

L'OCR con elaborazione basata su regioni, che si concentra sull'estrazione di testo da aree specifiche all'interno di un documento, può tornare utile in campi come la contabilità. Aree designate di documenti finanziari possono essere analizzate per estrarre automaticamente informazioni importanti come dettagli delle transazioni, numeri di conto e scadenze. Riducendo la necessità di inserimento manuale dei dati, si minimizzano gli errori e si accelerano i tempi di elaborazione. Le istituzioni finanziarie possono utilizzarlo per semplificare attività come l'elaborazione delle fatture, la riconciliazione delle ricevute e la compensazione degli assegni, portando a transazioni più veloci e a un migliore servizio clienti.

Fig 6. Un esempio di estrazione OCR con regione tramite Florence-2.

Segmentation basata su regioni nelle applicazioni industriali#

La segmentazione basata su regioni, che prevede la divisione di un'immagine in parti significative per un'analisi mirata e un'ispezione dettagliata, può alimentare applicazioni industriali che migliorano precisione ed efficienza in vari processi. Concentrandosi su aree specifiche all'interno di un'immagine, questa tecnologia consente un'ispezione e un'analisi dettagliate di componenti e prodotti. Per quanto riguarda il controllo qualità, può identificare difetti o incoerenze nei materiali, come crepe o disallineamenti, garantendo che solo prodotti di altissima qualità arrivino sul mercato.

Fig 7. Un esempio di segmentazione basata su regioni con Florence-2.

Inoltre, migliora le linee di assemblaggio automatizzate guidando i bracci robotici verso parti specifiche e ottimizzando il posizionamento e l'assemblaggio dei componenti. Allo stesso modo, nella gestione dell'inventario, aiuta a tracciare e monitorare le condizioni e la posizione delle merci, portando a una logistica più efficiente e a una riduzione dei tempi di inattività. Nel complesso, la segmentazione basata su regioni aumenta precisione e produttività, portando a risparmi sui costi e a una maggiore qualità del prodotto in contesti industriali.

Punti chiave#

Stiamo iniziando a vedere una tendenza in cui i modelli di AI stanno diventando più leggeri pur mantenendo prestazioni elevate. Florence-2 segna un importante passo avanti in termini di vision-language model. Può gestire varie attività come object detection, segmentation, image captioning e grounding con impressionanti prestazioni zero-shot. Nonostante le sue dimensioni ridotte, Florence-2 è efficiente e multifunzionale, il che lo rende estremamente utile in termini di applicazioni in diversi settori. Modelli come Florence-2 stanno portando nuove possibilità sul tavolo, espandendo il potenziale per le innovazioni dell'AI.

Scopri di più sull'AI visitando il nostro repository GitHub e unendoti alla nostra community. Dai un'occhiata alle nostre pagine delle soluzioni per leggere delle applicazioni dell'AI nella produzione e nell'agricoltura. 🚀