Feature Store

Ein Feature Store ist ein zentralisiertes System zum Verwalten, Speichern, Entdecken und Bereitstellen der Daten-Features, die von Modellen für maschinelles Lernen verwendet werden. Er hilft Teams dabei, dieselben Feature-Definitionen beim Training und bei der Inferenz in der Produktion anzuwenden, wodurch doppelte Arbeit und Inkonsistenzen reduziert werden. Anstatt beispielsweise den Wert „Käufe in den letzten 30 Tagen“ eines Kunden in mehreren Pipelines neu zu erstellen, können Teams diesen einmal definieren, seine Historie pflegen und seinen neuesten Wert abrufen, wenn ein Modell eine Vorhersage trifft.

Wie ein Feature Store funktioniert#

Ein Feature ist eine messbare Eingabe für ein Modell, wie zum Beispiel das Alter des Kontos, der durchschnittliche Transaktionswert, die Anzahl der erkennauten Objekte oder ein Image-Embedding. Rohdaten werden durch Feature Engineering oder automatisierte Feature-Extraktion zu nützlichen Modelleingaben.

Ein typischer Feature Store koordiniert mehrere Komponenten:

• Feature-Definitionen: Schemata beschreiben den Namen, Datentyp, Besitzer, die Transformationslogik, den Entitätsschlüssel und die Version jedes Features. Verwandte Features können in Feature-Gruppen oder -Ansichten organisiert werden, wie in den Konzepte von Amazon SageMaker Feature Store beschrieben.
• Offline Store: Historische Werte unterstützen Exploration, Training, Validierung und Batch-Inferenz. Die Dokumentation zum Offline Store von Feast erklärt, wie historische Zeitreihen-Features aus zugrunde liegenden Datenquellen abgerufen werden.
• Online Store: Die neuesten Werte werden für Echtzeitvorhersagen in einer Datenbank mit geringer Latenz gespeichert. Ein Online Store von Feast behält beispielsweise typischerweise den neuesten Wert für jeden Entitätsschlüssel bei.
• Materialisierung: Ein geplanter oder Streaming-Prozess verschiebt berechnete Feature-Werte in den Online Store.
• Registry und Metadaten: Durchsuchbare Definitionen helfen Teams dabei, Features zu entdecken, zu verwalten, zu versionieren und wiederzuverwenden.

Eine Entität identifiziert, was das Feature beschreibt. Es kann sich um eine Kunden-ID, Produkt-ID, Maschinen-ID oder Kamera-ID handeln. Ein Ereigniszeitstempel zeichnet auf, wann der Wert gültig war, und nicht, wann er zufällig geschrieben wurde.

Warum Feature Stores wichtig sind#

Ein Hauptvorteil ist die Konsistenz zwischen Training und Serving. Wenn ein Modell mit einer Berechnung trainiert wird, aber in der Produktion eine leicht abweichende Berechnung erhält, kann Training-Serving-Skew die Vorhersagequalität verringern. Zentrale Definitionen und eine gemeinsame Abruflogik machen dies unwahrscheinlicher.

Der zeitbezogene Abruf ist ebenso wichtig. Eine Trainingszeile sollte nur Informationen enthalten, die zu dem Zeitpunkt existierten, als das vorhergesagte Ereignis stattfand. Point-in-Time-Joins in Feast rekonstruieren diese historischen Werte und tragen dazu bei, Data Leakage durch zukünftige Informationen zu verhindern. Die Anleitungen zur Feature-Bereitstellung von Google Cloud betonen ähnlich Zeitstempel und Point-in-Time-Lookups für zeitkritische Features.

Feature Stores unterstützen zudem:

• Wiederverwendung: Mehrere Modelle können vertrauenswürdige Features nutzen, ohne Pipelines neu erstellen zu müssen.
• Aktualität: Streaming-Updates können Echtzeiteingaben auf dem neuesten Stand halten.
• Governance: Eigentümerschaft, Lineage, Zugriffskontrollen und Versionen erleichtern die Auditierung von Features.
• Überwachung: Teams können fehlende Werte, veraltete Datensätze, Schemaänderungen und Data Drift erkennen.

Diese Funktionen machen Feature Stores zu einem wichtigen Bestandteil des Produktions-MLOps, insbesondere wenn viele Modelle und Teams von gemeinsamen Daten abhängen.

Feature Stores im Vergleich mit verwandten Systemen#

Ein Feature Store ist nicht einfach nur eine weitere Datenbank.

• Ein Data Lake speichert große Mengen an Rohdaten oder verarbeiteten Daten, während ein Feature Store modellorientierte Definitionen, Zeitstempel, Abruflogik und Bereitstellungsschnittstellen hinzufügt.
• Eine Vektordatenbank ist auf Ähnlichkeitssuche über Vektoren spezialisiert. Ein Feature Store kann Embeddings verwalten, aber er kann auch skalare, kategoriale, aggregierte und Zeitreihen-Features enthalten.
• Eine Feature-Engineering-Pipeline berechnet Features; der Feature Store verwaltet und stellt die resultierenden Werte bereit.
• Eine Modell-Registry verwaltet Modellversionen und -artefakte, während ein Feature Store Modelleingaben verwaltet.

Verwaltete Systeme können mehrere dieser Verantwortlichkeiten kombinieren. Beispielsweise bieten von Azure Machine Learning verwaltete Feature Stores Feature-Erkennung, Versionierung, Materialisierung und historischen Abruf.

Praxisanwendungen#

Betrugserkennung: Ein Zahlungsmodell kann Transaktionsgeschwindigkeit, durchschnittlichen Kaufbetrag, Kontoalter und die Anzahl kürzlich fehlgeschlagener Zahlungen verwenden. Der Offline Store rekonstruiert historische Werte für das Training, während der Online Store aktuelle Werte innerhalb von Millisekunden bereitstellt, wenn eine neue Transaktion eingeht.

Sichtprüfung in der Computer Vision: Ein Fertigungssystem kann rollierende Defektzahlen, den Gerätestatus, Schichtmetadaten und visuelle Embeddings speichern, die nach Produktionslinie und Zeitstempel verschlüsselt sind. Historische Features unterstützen das Neutraining, während aktuelle Werte einem bereitgestellten Modell helfen, neue Erkennungen zu interpretieren. Teams können Bilder, Annotationen, Training, Bereitstellung und Überwachung mit der Ultralytics Platform verwalten, während ein separater Feature Store operationelle Eingaben bereitstellt.

Ultralytics YOLO26 kann Bild-Features generieren, die später mit Entitäts-IDs, Zeitstempeln und Versionsmetadaten registriert werden können:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

images = [
    "https://ultralytics.com/images/bus.jpg",
    "https://ultralytics.com/images/zidane.jpg",
]

embeddings = model.embed(images)
first_image_features = embeddings[0]

print(len(embeddings))
print(first_image_features.shape)

Dieses Beispiel führt eine Feature-Extraktion durch und keine vollständige Verwaltung eines Feature Stores. Ein Produktions-Workflow würde die Vektoren validieren, sie Datensätzen und Ereigniszeiten zuordnen, historische Versionen speichern und die Aktualität sowie Qualität mithilfe von Best Practices wie denen in den ML-Qualitätsrichtlinien von Google Cloud überwachen.