Database vettoriale

Un database vettoriale è un sistema di archiviazione specializzato progettato per gestire, indicizzare e interrogare dati vettoriali ad alta dimensione, spesso denominati embeddings. A differenza dei tradizionali database relazionali tradizionali che memorizzano i dati strutturati in righe e colonne per una corrispondenza esatta con le parole chiave, i database vettoriali sono ottimizzati per trovare gli elementi in base alla loro somiglianza semantica. ottimizzati per trovare elementi basati sulla loro somiglianza semantica. Questa capacità li rende una pietra miliare della moderna intelligenza artificiale (AI) che consente ai sistemi di elaborare dati non strutturati, come immagini, audio e testi, comprendendo le relazioni contestuali tra di essi. relazioni contestuali tra di essi. Servono essenzialmente come memoria a lungo termine per le applicazioni di applicazioni di apprendimento automatico, consentendo di recupero efficiente di informazioni concettualmente correlate piuttosto che identiche.

Come funzionano i database vettoriali

La funzionalità principale di un database vettoriale si basa sulla trasformazione dei dati grezzi in vettori matematici attraverso un processo noto come processo noto come estrazione di caratteristiche. A modello di apprendimento profondo, come il Vision Transformer (ViT) o una Convolutional Neural Network (CNN), analizza i dati e produce un vettore, un lungo elenco di numeri che rappresentano le caratteristiche dei dati.

Una volta generati questi vettori, il database li indicizza utilizzando algoritmi specializzati quali Approximate Nearest Neighbor (ANN). Quando un utente esegue un'interrogazione, il sistema converte il termine di ricerca (immagine o testo) in un vettore e calcola la sua vettori e calcola la sua vicinanza ai vettori memorizzati utilizzando metriche di distanza come somiglianza del coseno o distanza euclidea. Questo permette al database di identificare rapidamente identificare rapidamente i vicini "più vicini", che rappresentano i risultati più rilevanti.

Il seguente frammento di codice mostra come generare le incorporazioni usando un modello YOLO11. modelloYOLO11 , che è il primo passo prima di memorizzare i dati in un database vettoriale. un database vettoriale.

from ultralytics import YOLO

# Load a pre-trained YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Generate feature embeddings for an image file
# This converts the visual content into a numerical vector
results = model.embed("bus.jpg")

# Output the shape of the resulting embedding vector
print(f"Embedding vector shape: {results[0].shape}")

Applicazioni nel mondo reale

I database vettoriali sono il motore di molte funzioni intelligenti del software commerciale e aziendale.

• Motori di raccomandazione visiva: nell'ambito dell'IA nella vendita al dettaglio, le piattaforme AI nel settore della vendita al dettaglio, le piattaforme utilizzano database vettoriali per per alimentare le funzionalità di "shop the look". Quando un cliente visualizza un prodotto, il sistema interroga il database vettoriale alla ricerca di articoli con alla ricerca di articoli con caratteristiche visive simili, suggerendo prodotti con stili, colori o modelli corrispondenti. Questo migliorare l'esperienza dell'utente, fornendo consigli personalizzati che vanno al di là delle semplici etichette di categoria.
• Generazione Aumentata dal Recupero (RAG): I database vettoriali sono fondamentali per generazione aumentata (RAG). sistemi. Memorizzando le incorporazioni di vaste basi di conoscenza interne, le aziende permettono a modelli linguistici di grandi dimensioni (LLM) di recuperare un contesto preciso e aggiornato prima di generare una risposta. In questo modo si riducono le allucinazioni e si garantisce che l'intelligenza artificiale fornisca risposte concrete basate sui documenti recuperati.

Differenziare i concetti correlati

Per comprendere l'ecosistema, è utile distinguere il database vettoriale dai termini correlati:

• Database vettoriale vs. ricerca vettoriale: La ricerca vettoriale è l'azione o il processo algoritmico di ricerca di vettori simili. Un database vettoriale è l'infrastruttura sistema software costruito per memorizzare questi vettori ed eseguire ricerche in modo scalabile e persistente. in modo scalabile e persistente.
• Database vettoriale vs. embeddings: Gli embeddings sono l'effettivo carico di dati, la rappresentazione numerica dell'input. Il database vettoriale è il contenitore che organizza questi embeddings per un accesso rapido.
• Database vettoriale vs. ingegneria delle caratteristiche Ingegneria delle caratteristiche: Il Feature Engineering è il processo più ampio di creazione di caratteristiche per i modelli. I database vettoriali memorizzano l'output di feature engineering automatizzate (embeddings) eseguite dai modelli di deep learning.

Soluzioni di database vettoriali più diffuse

Il mercato offre diverse opzioni solide per l'implementazione dello storage vettoriale, dagli strumenti open-source ai servizi gestiti. servizi gestiti:

• Pinecone: Un database vettoriale completamente gestito e cloud-native progettato per la scalabilità ad alta velocità e la facilità d'uso in produzione.
• Milvus: un database vettoriale open-source costruito per la ricerca di similarità ricerca di similarità, spesso utilizzato in applicazioni di applicazioni di computer vision su larga scala.
• Qdrant: Un motore di ricerca vettoriale ad alte prestazioni scritto in Rust, che offre capacità di filtraggio avanzate per query complesse.
• Weaviate: Un database vettoriale nativo dell'intelligenza artificiale che memorizza sia oggetti e vettori, consentendo ricerche combinate di vettori e parole chiave.

Integrando questi strumenti in un flusso di lavoro MLOps, gli sviluppatori possono costruire sistemi che "capiscono" veramente il contenuto dei dati, consentendo funzionalità avanzate come la ricerca semantica, rilevamento delle anomalie e la distribuzione di contenuti personalizzati.