Incorporazioni

Gli embedding sono una pietra miliare del moderno machine learning (ML) e rappresentano un metodo potente per convertire dati ad alta dimensione come parole, immagini o persino utenti in vettori numerici significativi, densi e a bassa dimensione. L'obiettivo principale di un embedding è quello di catturare le relazioni semantiche e il contesto sottostante dei dati originali. In questo spazio vettoriale, gli elementi con significati o caratteristiche simili sono posizionati più vicini tra loro. Ciò consente ai modelli di intelligenza artificiale di eseguire operazioni complesse di ragionamento e somiglianza che sarebbero impossibili con dati grezzi e non strutturati.

Come vengono create le incorporazioni

Gli embeddings sono in genere appresi automaticamente da un modello di deep learning durante il processo di addestramento. Una rete neurale, spesso costruita con framework come PyTorch o TensorFlow, viene addestrata su un compito rilevante, come la previsione della parola successiva in una frase o la classificazione di un'immagine. Uno degli strati nascosti di questa rete viene quindi utilizzato come strato di incorporazione. Man mano che il modello impara a svolgere il suo compito, regola i pesi di questo strato, imparando di fatto a mappare ogni elemento in ingresso in un vettore che racchiude le sue caratteristiche più importanti. Questo processo è una forma di riduzione della dimensionalità, che comprime grandi quantità di informazioni in un formato compatto e utile.

Applicazioni ed esempi

Le incorporazioni sono fondamentali per un'ampia gamma di applicazioni di IA, dall'elaborazione del linguaggio naturale (NLP) alla computer vision.

• Motori di raccomandazione per il commercio elettronico: I sistemi di raccomandazione utilizzano embeddings per rappresentare sia gli utenti che i prodotti. Se un utente acquista o visualizza frequentemente articoli con embedding simili (ad esempio, vari tipi di attrezzi da corsa), il sistema può identificare altri prodotti in quella zona vettoriale (come gel energetici o zaini di idratazione) e raccomandarli. Si tratta di una soluzione molto più efficace della semplice corrispondenza con le parole chiave.
• Ricerca semantica e recupero di immagini: Invece di basarsi su tag o metadati, i sistemi di ricerca semantica utilizzano le incorporazioni per trovare risultati basati sul significato concettuale. Un utente può cercare "foto di vacanze estive" e il sistema recupererà immagini di spiagge, montagne e scene di viaggio, anche se queste parole esatte non sono presenti nella descrizione dell'immagine. Questo è possibile grazie a modelli come CLIP, che generano embeddings allineati sia per il testo che per le immagini, consentendo potenti capacità di modelli multimodali. Questo stesso principio consente una potente ricerca visiva, una funzione chiave in molte applicazioni moderne. Potete anche costruirne una vostra con la nostra guida alla ricerca per similarità.

Altre applicazioni includono la scoperta di farmaci, in cui le molecole vengono incorporate per prevedere le interazioni, e i servizi di streaming musicale che raccomandano canzoni con caratteristiche audio simili.

Incorporamenti e concetti correlati

È utile distinguere le incorporazioni dai termini correlati:

• Embeddings vs. estrazione di caratteristiche: Gli embeddings sono una forma sofisticata e spesso automatizzata di estrazione di caratteristiche ottenuta attraverso il deep learning. Mentre l'ingegneria delle caratteristiche tradizionale può comportare la definizione manuale delle caratteristiche (ad esempio, gli istogrammi di colore per le immagini), gli embeddings apprendono le caratteristiche rilevanti direttamente dai dati durante l'addestramento.
• Embeddings vs. ricerca vettoriale / database vettoriali: Gli embeddings sono rappresentazioni vettoriali di elementi di dati. La ricerca vettoriale è il processo di interrogazione di una collezione di embeddings per trovare quelli più simili (più vicini) a un vettore di interrogazione, spesso utilizzando algoritmi di Approximate Nearest Neighbor (RNA) per garantire l'efficienza. I database vettoriali (come Pinecone o Milvus) sono database specializzati ottimizzati per la memorizzazione, l'indicizzazione e l'esecuzione di ricerche vettoriali veloci su grandi volumi di embeddings.
• Embeddings vs. Tokenization: La tokenizzazione è il processo di scomposizione del testo in unità più piccole (token). Questi token vengono poi mappati in embeddings. La tokenizzazione è quindi una fase preliminare alla creazione o al recupero della rappresentazione dell'embedding. Modelli NLP di riferimento come BERT e GPT-4 si basano su questo processo in due fasi.

Gli embeddings rappresentano un modo potente di rappresentare i dati per i modelli di apprendimento automatico, consentendo loro di comprendere le somiglianze semantiche e i modelli complessi in diversi tipi di dati. Sono parte integrante delle funzionalità delle moderne piattaforme di ML come Ultralytics HUB, che semplifica la creazione di modelli di intelligenza artificiale avanzati per compiti come il rilevamento di oggetti e la classificazione di immagini.