Embeddings

Le incorporazioni sono rappresentazioni vettoriali dense, a bassa dimensione e continue di variabili discrete, che fungono da formato di dati fondamentale nei moderni sistemi di formato di dati fondamentale nelle moderne intelligenza artificiale (IA). A differenza delle rappresentazioni rade come la codifica one-hot, che può dare origine a vettori massicci e inefficienti, le incorporazioni catturano le relazioni semantiche e il significato sottostante dei dati mappando gli input ad alta dimensione come parole, immagini o audio, in uno spazio numerico compatto. In questo spazio vettoriale appreso, gli elementi che condividono caratteristiche o contesti simili sono posizionati in prossimità l'uno dell'altro, consentendo di apprendimento automatico (ML) modelli di apprendimento automatico di comprendere ed elaborare intuitivamente modelli complessi.

Come funzionano le incorporazioni

Il concetto fondamentale alla base delle incorporazioni è la traduzione dei dati grezzi in una forma matematica che i computer possono elaborare in modo efficiente. in una forma matematica che i computer possono elaborare in modo efficiente. Questo processo comporta in genere un rete neurale (NN) che impara a mappare gli ingressi in vettori di numeri reali. Durante la formazione del modello fase di addestramento del modello, la rete aggiusta questi vettori in modo che la distanza tra loro corrisponda alla somiglianza degli elementi che rappresentano.

Per esempio, in elaborazione del linguaggio naturale (NLP)le incorporazioni per le parole "re" e "regina" sarebbero matematicamente più vicine tra loro rispetto a "mela". che a "mela", riflettendo la loro relazione semantica. Questa trasformazione è una forma di riduzione della dimensionalitàche preserva le informazioni essenziali e scarta il rumore, rendendo i compiti a valle, come la classificazione o il clustering, molto più efficaci. classificazione o il clustering, che diventano molto più efficaci.

Creazione e formazione

Gli embeddings sono tipicamente generati come sottoprodotto dell'addestramento. apprendimento profondo (DL) modelli su grandi insiemi di dati. Quadri come PyTorch e TensorFlow forniscono livelli specificamente progettati per apprendere queste rappresentazioni.

1. Inizializzazione: I vettori di incorporazione sono spesso inizializzati con valori casuali.
2. Apprendimento: Man mano che il modello si ottimizza per un obiettivo specifico, come ad esempio la previsione della parola successiva in una sequenza o l'identificazione di oggetti in un'immagine. sequenza o l'identificazione di oggetti in un'immagine, il modello pesi del modello associati al livello di livello di incorporazione vengono aggiornati.
3. Risultato: I pesi finali appresi servono come tabella di ricerca dell'incorporazione, dove ogni token o oggetto in ingresso corrisponde a uno specifico vettore denso. oggetto corrisponde a uno specifico vettore denso.

È possibile generare le incorporazioni per le immagini utilizzando gli standard visione artificiale (CV) flussi di lavoro. Il seguente snippet Python mostra come estrarre gli embeddings da un'immagine utilizzando un algoritmo pre-addestrato. Ultralytics YOLO11 preaddestrato.

from ultralytics import YOLO

# Load a YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Generate embeddings for an image from a URL
# The embed() method specifically returns the feature vector
embedding_vector = model.embed("https://ultralytics.com/images/bus.jpg")

# Output the shape of the embedding (e.g., a vector of length 1280)
print(f"Embedding shape: {embedding_vector[0].shape}")

Applicazioni nel mondo reale

Gli embeddings hanno rivoluzionato il modo in cui i sistemi gestiscono i dati non strutturati, potenziando capacità che prima erano impossibili.

• Motori di ricerca semantici: I motori di ricerca tradizionali si basano sulla corrispondenza delle parole chiave, che spesso fallisce quando le query utilizzano sinonimi. La ricerca semantica sfrutta embeddings per far coincidere l'intento di una query con il contenuto di documenti o immagini. Confrontando la distanza vettoriale vettoriale tra l'embedding della query e l'embedding del documento, il sistema recupera i risultati concettualmente rilevanti, anche se non condividono le parole esatte. concettualmente rilevanti, anche se non condividono le parole esatte.
• Sistemi di raccomandazione personalizzati: Piattaforme come Netflix o Amazon utilizzano gli embeddings per modellare le preferenze degli utenti e le caratteristiche degli articoli. preferenze degli utenti e le caratteristiche degli articoli. Se un utente guarda un film di fantascienza, il sistema di sistema di raccomandazione può suggerire suggerire altri film con vettori di incorporamento simili. Questo approccio, spesso implementato utilizzando algoritmi di nearest neighbor algoritmi di prossimità in un database vettoriale, è in grado di scalare in modo efficiente fino a milioni di elementi.
• Apprendimento a colpo zero: Modelli avanzati come CLIP apprendono incorporazioni congiunte per testo e immagini. Questo permette a un sistema di classify immagini che non ha mai visto durante l'addestramento. confrontando l'incorporamento dell'immagine con l'incorporamento del testo dei nomi delle classi, una tecnica nota come apprendimento a colpo zero.

Embeddings vs. Concetti correlati

Comprendere la distinzione tra embedding e termini correlati è fondamentale per orientarsi nel panorama dell'IA.

• Embeddings vs. estrazione di caratteristiche: Entrambe comportano la trasformazione dei dati in caratteristiche numeriche, estrazione di caratteristiche può riferirsi a tecniche manuali (come il rilevamento dei bordi) o automatizzate. Le incorporazioni sono un tipo specifico di estrazione di caratteristiche di estrazione automatica e appresa che dà luogo a vettori densi, spesso utilizzati come input per altri modelli o per compiti di somiglianza.
• Incorporamenti e ricerca vettoriale: Un embedding è la struttura dei dati (il vettore stesso). La ricerca vettoriale è il processo di interrogazione di un insieme di queste incorporazioni per trovare elementi simili. Tecnologie come Pinecone o Milvus sono progettati per memorizzare le incorporazioni ed eseguire questa ricerca in modo efficiente.
• Incorporazione e tokenizzazione: Nell'elaborazione del testo, tokenizzazione è la fase di di suddividere il testo in unità più piccole, chiamate token. Questi tokens sono identificatori discreti (numeri interi) che permettono di cercare i vettori di incorporamento corrispondenti. Quindi, tokenizzazione precede il recupero delle incorporazioni nella pipeline.

Convertendo i concetti astratti in vettori matematici, gli embeddings colmano il divario tra l'intuizione umana e la logica delle macchine, consentendo di elaborare sofisticati concetti di ricerca. logica della macchina, consentendo la sofisticata riconoscimento dei modelli sofisticate capacità di riconoscimento dei modelli nelle applicazioni di IA più avanzate di oggi.