Vektör Veritabanı

Vektör veritabanı, yüksek boyutlu vektör verilerini yönetmek, indekslemek ve sorgulamak için tasarlanmış özel bir depolama sistemidir, genellikle gömme olarak adlandırılır. Gelenekselin aksine Tam anahtar kelime eşleştirmesi için yapılandırılmış verileri satır ve sütunlarda depolayan ilişkisel veritabanları, vektör veritabanları anlamsal benzerliklerine göre öğeleri bulmak için optimize edilmiştir. Bu özellik onları modern teknolojinin temel taşlarından biri haline getirmektedir. yapay zeka (AI) altyapısı, sistemlerin yapılandırılmamış verileri (görüntü, ses ve metin gibi) anlamlandırarak işlemesine olanak tanır. Bunlar arasındaki bağlamsal ilişkiler. Esasen aşağıdakiler için uzun süreli bellek görevi görürler makine öğrenimi uygulamalarına olanak sağlayarak Aynı olmaktan ziyade kavramsal olarak ilişkili olan bilgilerin etkin bir şekilde geri getirilmesi.

Vektör Veritabanları Nasıl Çalışır

Bir vektör veritabanının temel işlevselliği, ham verilerin bir vektör veritabanı aracılığıyla matematiksel vektörlere dönüştürülmesine dayanır. özellik çıkarma olarak bilinen süreç. A derin öğrenme modeli, örneğin Vision Transformer (ViT) veya bir Evrişimsel Sinir Ağı (CNN), verileri analiz eder ve verilerin özelliklerini temsil eden uzun bir sayı listesi olan bir vektör çıktısı verir.

Bu vektörler oluşturulduktan sonra, veritabanı bunları aşağıdaki gibi özel algoritmalar kullanarak indeksler Yaklaşık En Yakın Komşu (YSA). Bir kullanıcı bir sorgu gerçekleştirdiğinde, sistem arama terimini (görüntü veya metin) bir vektöre dönüştürür ve gibi mesafe metriklerini kullanarak depolanan vektörlere yakınlık Kosinüs Benzerliği veya Öklid Mesafesi. Bu, veritabanının hızlı bir şekilde en alakalı sonuçları temsil eden "en yakın" komşuları belirler.

Aşağıdaki kod parçacığı, katıştırmaların nasıl oluşturulacağını göstermektedir Verileri depolamadan önceki ilk adım olan YOLO11 modeli bir vektör veritabanı.

from ultralytics import YOLO

# Load a pre-trained YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Generate feature embeddings for an image file
# This converts the visual content into a numerical vector
results = model.embed("bus.jpg")

# Output the shape of the resulting embedding vector
print(f"Embedding vector shape: {results[0].shape}")

Gerçek Dünya Uygulamaları

Vektör veritabanları, ticari ve kurumsal yazılımlardaki birçok akıllı özelliğin arkasındaki motordur.

• Görsel Öneri Motorları: Görsel Perakendede yapay zeka, platformlar vektör veri tabanlarını kullanarak güç "shop the look" özellikleri. Bir müşteri bir ürünü görüntülediğinde, sistem vektör veritabanını sorgular Benzer görsel yerleştirmelere sahip öğeler için, eşleşen stillere, renklere veya desenlere sahip ürünler önerir. Bu sağlayarak kullanıcı deneyimini geliştirir Basit kategori etiketlerinin ötesine geçen kişiselleştirilmiş öneriler.
• Geri Alım-Artırılmış Üretim (RAG): Vektör veritabanları aşağıdakiler için kritik öneme sahiptir Geri Alım-Artırılmış Üretim (RAG) sistemleri. Şirketler, geniş iç bilgi tabanlarının gömülmelerini depolayarak Büyük Dil Modelleri (LLM'ler) almak için bir cevap oluşturmadan önce kesin, güncel bağlam. Bu, halüsinasyonları azaltır ve yapay zekanın şunları sağlamasını sağlar Alınan belgelere dayalı gerçek yanıtlar.

İlgili Kavramların Farklılaştırılması

Ekosistemi anlamak için vektör veritabanını ilgili terimlerden ayırmak faydalı olacaktır:

• Vektör Veritabanı vs Vektör Arama: Vektör arama, benzer vektörleri bulma eylemi veya algoritmik sürecidir. Bir vektör veritabanı Bu vektörleri depolamak ve aramaları ölçeklenebilir bir şekilde gerçekleştirmek için oluşturulmuş altyapı veya yazılım sistemi Israrla.
• Vektör Veritabanı ve Gömüler: Gömüler, girdinin sayısal temsili olan gerçek veri yüküdür. Vektör veritabanı ise hızlı erişim için bu katıştırmaları düzenleyen kapsayıcı.
• Vektör Veritabanı vs. Özellik Mühendisliği: Özellik mühendisliği, modeller için özellik oluşturmaya yönelik daha geniş bir süreçtir. Vektör veritabanları şu çıktıları depolar derin öğrenme modelleri tarafından gerçekleştirilen otomatik özellik mühendisliği (gömme).

Popüler Vektör Veritabanı Çözümleri

Pazar, vektör depolamanın uygulanması için açık kaynaklı araçlardan yönetilen araçlara kadar çeşitli sağlam seçenekler sunmaktadır hizmetler:

• Pinecone: Tam olarak yönetilen, bulut tabanlı bir vektör veritabanı yüksek hızlı ölçeklenebilirlik ve üretimde kullanım kolaylığı için tasarlanmıştır.
• Milvus: Ölçeklenebilirlik için oluşturulmuş açık kaynaklı bir vektör veritabanı benzerlik araması, genellikle büyük ölçekli bilgisayarla görme uygulamaları.
• Qdrant: Rust ile yazılmış yüksek performanslı bir vektör arama motoru, karmaşık sorgular için gelişmiş filtreleme özellikleri sunar.
• Weaviate: Her iki nesneyi de depolayan yapay zekaya özgü bir vektör veritabanı ve vektörler, birleşik vektör ve anahtar kelime aramalarına izin verir.

Bu araçların entegre edilmesiyle MLOps iş akışı, geliştiriciler şunları yapabilir Veri içeriğini gerçekten "anlayan" ve semantik arama gibi gelişmiş yetenekler sağlayan sistemler oluşturmak, anomali tespiti ve kişiselleştirilmiş içerik sunumu.