Feature Store

Ein Feature Store ist ein Datensystem, das die Eingabemerkmale von Modellen für maschinelles Lernen definiert, berechnet, speichert und bereitstellt, damit ein Modell während des Trainings dieselben Merkmalswerte sieht wie bei Live-Vorhersagen. Ein Merkmal ist eine Modelleingabe, beispielsweise die Anzahl der Transaktionen einer Karte in der vergangenen Stunde, die durchschnittliche Bewertung eines Produkts oder eine Einbettung eines Bildes. Der Store hält die Definition jedes Merkmals zusammen mit seinem vollständigen Verlauf in einem Offline-Store zum Erstellen von Trainingsdatensätzen sowie seinem neuesten Wert in einem Online-Store für schnelle Abfragen zum Vorhersagezeitpunkt vor. Uber beschrieb 2017 in einem Beitrag zur Michelangelo-Plattform für maschinelles Lernen einen gemeinsam genutzten Feature Store. Darauf folgte Feast, ein von Gojek und Google Cloud gestarteter Open-Source-Feature-Store. Auch in Amazon SageMaker, Google Vertex AI, Azure Machine Learning und Databricks kamen verwaltete Feature Stores hinzu.

So funktioniert ein Feature Store#

Merkmale beginnen als Rohereignisse und Tabellen. Verarbeitungspipelines wandeln sie durch Merkmalsentwicklung in Modelleingaben um, etwa indem die Transaktionen einer Karte über ein gleitendes einstündiges Zeitfenster gezählt werden, oder mithilfe neuronaler Netzwerke durch Merkmalsextraktion. Ein Feature Store gliedert diese Arbeit in einige Komponenten:

• Merkmalsregister: Name, Entitätsschlüssel (der Kunde, die Karte, das Produkt oder die Kamera, die das Merkmal beschreibt), Datentyp, Transformationscode, Eigentümer und Version jedes Merkmals. Die Einträge sind durchsuchbar, damit Teams Merkmale wiederverwenden, statt sie neu zu erstellen.
• Offline-Store: Jeder historische Wert mit seinem Ereigniszeitstempel, gespeichert in einem Data Warehouse oder Data Lake. Wird zum Erstellen von Trainingsdatensätzen und Ausführen von Batch-Bewertungen verwendet.
• Online-Store: Der neueste Wert für jede Entität in einer Schlüssel-Wert-Datenbank wie Redis oder DynamoDB, der während der Inferenz innerhalb weniger Millisekunden abgerufen wird.
• Materialisierung: Stapel- oder Streaming-Aufträge, die neue Werte berechnen und die aktuellsten Werte aus dem Offline-Store in den Online-Store kopieren.

Zum Vorhersagezeitpunkt sendet ein Dienst wie eine Betrugsprüfung die Karten-ID, erhält die aktuellen Merkmale der Karte aus dem Online-Store und übergibt sie an das Modell. So bleibt die Inferenzlatenz niedrig genug für Echtzeit-Inferenz beim Bezahlvorgang.

Zeitpunktbezogene Korrektheit#

Jede Trainingszeile muss die Merkmalswerte verwenden, die zum Zeitpunkt des gekennzeichneten Ereignisses vorlagen. Ein später berechneter Wert enthält Informationen aus der Zukunft – eine Form von Daten-Leakage, durch die ein Modell offline präzise wirkt und in der Produktion versagt. Feature Stores verhindern das mit zeitpunktbezogenen Joins, die jedes Label derselben Entität dem neuesten Merkmalswert zum Zeitpunkt des Labels oder davor zuordnen. Die pandas-Funktion merge_asof führt denselben Join aus:

import pandas as pd

# Offline-Speicher: Transaktionsanzahl jeder Karte innerhalb der letzten Stunde, im Zeitverlauf erfasst
features = pd.DataFrame(
    {
        "card_id": ["A", "B", "A", "A"],
        "time": pd.to_datetime(["2026-10-01 09:00", "2026-10-01 10:00", "2026-10-01 12:00", "2026-10-01 15:00"]),
        "txn_count_1h": [1, 2, 4, 9],
    }
)

# Zu kennzeichnende Ereignisse für das Training: War die jeweilige Transaktion betrügerisch?
labels = pd.DataFrame(
    {
        "card_id": ["B", "A"],
        "time": pd.to_datetime(["2026-10-01 11:00", "2026-10-01 13:30"]),
        "is_fraud": [0, 1],
    }
)

# Zeitpunktbezogener Join: Jedes Label erhält den neuesten Merkmalswert seiner Karte zum Ereigniszeitpunkt oder davor
training_rows = pd.merge_asof(labels, features, on="time", by="card_id")
print(training_rows)

Das Betrugslabel von Karte A um 13:30 erhält den um 12:00 erfassten Zählerstand 4; der nach der Transaktion um 15:00 erfasste Zählerstand 9 bleibt dagegen außen vor. Das Label von Karte B um 11:00 erhält den eigenen Wert 2, da das Argument by Zeilen anhand des Entitätsschlüssels abgleicht.

Abweichungen zwischen Training und Bereitstellung#

Eine Abweichung zwischen Training und Bereitstellung liegt vor, wenn sich die Merkmale, mit denen ein Modell trainiert wurde, von den Merkmalen unterscheiden, die es in der Produktion erhält. Dazu kommt es, wenn ein SQL-Batchauftrag die Trainingsmerkmale berechnet, während separat geschriebener Anwendungscode die Merkmale für die Bereitstellung berechnet und sich beide bei Zeitzonen, Fenstergrenzen, Einheiten oder dem Umgang mit fehlenden Werten unterscheiden. Googles Rules of Machine Learning widmen dieser Abweichung einen Abschnitt und empfehlen, die bei der Bereitstellung verwendeten Merkmale zu protokollieren, damit spätere Trainingsläufe genau diese Werte nutzen können. Ein Feature Store beseitigt den doppelten Codepfad, indem er jedes Merkmal anhand einer einzigen Definition für beide Anwendungsfälle nur einmal berechnet. Außerdem erfasst er für jedes Merkmal Aktualität, fehlende Werte und Datenverschiebungen, damit die Modellüberwachung einen Genauigkeitsverlust auf eine fehlerhafte Eingabe zurückführen kann.

Feature Stores und verwandte Systeme#

• Data Lake: Speichert Rohdaten und verarbeitete Dateien in beliebigen Formaten. Viele Offline-Speicher befinden sich in einem Data Lake; der Feature Store ergänzt darauf aufbauend Entitätsschlüssel, Zeitstempel, zeitpunktbezogenen Abruf und Online-Bereitstellung.
• Vektordatenbank: Findet die gespeicherten Einbettungen, die einem Abfragevektor am ähnlichsten sind. Ein Feature Store ruft Werte anhand der Entitäts-ID ab und kann Einbettungen als ein Merkmal neben Zählwerten, Mittelwerten und Kategorien speichern.
• Modellregister: Versioniert trainierte Modelle und ihre Metadaten, während der Feature Store die Eingaben versioniert, die diese Modelle nutzen.
• Modellbereitstellung: Führt das Modell hinter einer API aus und ruft für jede Anfrage Merkmale aus dem Online-Speicher ab.

Merkmale aus der Computer Vision#

Videoanalyse wandelt Kamerabilder in Merkmale für Prognosen, Anomalieerkennung und prädiktive Modellierung um: stündliche Besucherzahlen am Ladeneingang, Warteschlangenlängen an der Kasse oder Fehlerquoten je Produktionslinie, jeweils verknüpft mit Kamera- oder Linien-ID und Zeitstempel. Im Einzelhandel liefern Personenzählungen Eingaben für Personal- und Nachfragemodelle; in der Fertigung fließen Fehlerzahlen je Schicht in Wartungsmodelle ein. Ultralytics YOLO-Objektzählung erzeugt solche Werte direkt: Sie verfolgt jedes erkannte Objekt über mehrere Frames hinweg und liefert laufende Gesamtwerte für in_count und out_count sowie Zählungen je Klasse, wenn Objekte eine Linie oder Region überqueren. Diese zeitgestempelten Werte je Kamera können direkt in einen Feature Store geschrieben werden.