Feature Store

Un magasin de caractéristiques est un système de données qui définit, calcule, stocke et fournit les caractéristiques d’entrée des modèles d’apprentissage automatique, afin qu’un modèle voie les mêmes valeurs de caractéristiques pendant l’entraînement et lorsqu’il produit des prédictions en direct. Une caractéristique est une entrée du modèle, par exemple le nombre de transactions effectuées avec une carte au cours de la dernière heure, la note moyenne d’un produit ou l’intégration d’une image. Le magasin conserve la définition et l’historique complet de chaque caractéristique dans un magasin hors ligne pour créer des jeux d’entraînement, ainsi que sa valeur la plus récente dans un magasin en ligne pour accélérer les recherches au moment de la prédiction. Uber a décrit un magasin de caractéristiques partagé dans son billet de 2017 sur la plateforme d’apprentissage automatique Michelangelo. Feast, un magasin de caractéristiques libre créé par Gojek avec Google Cloud, a suivi, tout comme les magasins de caractéristiques gérés dans Amazon SageMaker, Google Vertex AI, Azure Machine Learning et Databricks.

Fonctionnement d’un magasin de caractéristiques#

Les caractéristiques proviennent d’événements et de tables bruts ; des pipelines les transforment en entrées de modèle par l’ingénierie des caractéristiques, par exemple en comptant les transactions d’une carte sur une fenêtre glissante d’une heure, ou par l’extraction de caractéristiques avec un réseau neuronal. Un magasin de caractéristiques organise ce travail en quelques composants :

• Registre des caractéristiques : Le nom de chaque caractéristique, sa clé d’entité (le client, la carte, le produit ou la caméra qu’elle décrit), son type de données, le code de transformation, le propriétaire et la version, le tout consultable afin que les équipes réutilisent les caractéristiques au lieu de les recréer.
• Magasin hors ligne : Toutes les valeurs historiques avec leur horodatage d’événement, conservées dans un entrepôt ou un lac de données pour créer des jeux d’entraînement et effectuer des évaluations par lots.
• Magasin en ligne : La dernière valeur de chaque entité dans une base de données clé-valeur telle que Redis ou DynamoDB, consultable en quelques millisecondes au moment de l’inférence.
• Matérialisation : Tâches par lots ou en flux qui calculent de nouvelles valeurs et copient les plus récentes du magasin hors ligne vers le magasin en ligne.

Au moment de la prédiction, un service tel qu’un contrôle de fraude envoie l’identifiant de la carte, reçoit les caractéristiques actuelles de la carte depuis le magasin en ligne, puis les transmet au modèle. Cela maintient une latence d’inférence suffisamment faible pour permettre l’inférence en temps réel au moment du paiement.

Exactitude à un instant donné#

Chaque ligne d’entraînement doit utiliser les valeurs des caractéristiques telles qu’elles étaient au moment où l’événement étiqueté s’est produit. Une valeur calculée ultérieurement contient des informations provenant du futur, une forme de fuite de données qui donne l’impression qu’un modèle est précis hors ligne, mais qui le fait échouer en production. Les magasins de caractéristiques évitent ce problème grâce aux jointures à un instant donné, qui associent chaque étiquette à la valeur de caractéristique la plus récente, horodatée au plus tard à celui de l’étiquette, pour la même entité. La fonction pandas merge_asof effectue la même jointure :

import pandas as pd

# Magasin hors ligne : nombre de transactions de chaque carte au cours de la dernière heure, enregistré au fil du temps
features = pd.DataFrame(
    {
        "card_id": ["A", "B", "A", "A"],
        "time": pd.to_datetime(["2026-10-01 09:00", "2026-10-01 10:00", "2026-10-01 12:00", "2026-10-01 15:00"]),
        "txn_count_1h": [1, 2, 4, 9],
    }
)

# Événements étiquetés à utiliser pour l’entraînement : chaque transaction était-elle frauduleuse ?
labels = pd.DataFrame(
    {
        "card_id": ["B", "A"],
        "time": pd.to_datetime(["2026-10-01 11:00", "2026-10-01 13:30"]),
        "is_fraud": [0, 1],
    }
)

# Jointure à un instant donné : chaque étiquette reçoit la dernière valeur de caractéristique de sa carte, horodatée au plus tard à celui de l’événement
training_rows = pd.merge_asof(labels, features, on="time", by="card_id")
print(training_rows)

L’étiquette de fraude de la carte A à 13:30 reçoit le nombre 4 enregistré à 12:00, tandis que le nombre 9 enregistré à 15:00, après la transaction, est exclu du jeu d’entraînement. L’étiquette de la carte B à 11:00 reçoit sa propre valeur de 2, car l’argument by fait correspondre les lignes selon la clé de l’entité.

Décalage entre l’entraînement et le service#

Le décalage entre l’entraînement et le service est un écart entre les caractéristiques sur lesquelles un modèle a été entraîné et celles qu’il reçoit en production. Il apparaît lorsqu’une tâche SQL par lots calcule les caractéristiques d’entraînement tandis qu’un code d’application écrit séparément calcule celles du service, et que les deux diffèrent par les fuseaux horaires, les limites des fenêtres, les unités ou la manière de remplacer les valeurs manquantes. Les Règles de l’apprentissage automatique de Google consacrent une section à ce décalage et recommandent de journaliser les caractéristiques utilisées au moment du service afin que les entraînements ultérieurs puissent reprendre exactement ces valeurs. Un magasin de caractéristiques supprime le chemin de code en double en calculant chaque caractéristique une seule fois à partir d’une définition unique pour les deux usages, et il enregistre la fraîcheur, les valeurs manquantes et la dérive des données de chaque caractéristique afin que la surveillance du modèle puisse relier une baisse de précision à une entrée défectueuse.

Magasin de caractéristiques et systèmes apparentés#

• Lac de données : Stocke des fichiers bruts et traités dans n’importe quel format. De nombreux magasins hors ligne se trouvent dans un lac, le magasin de caractéristiques ajoutant par-dessus des clés d’entité, des horodatages, une récupération à un instant donné et un service en ligne.
• Base de données vectorielle : Recherche les plongements stockés les plus similaires à un vecteur de requête. Un magasin de caractéristiques recherche les valeurs par ID d’entité et peut stocker des plongements comme une caractéristique parmi d’autres, à côté des nombres, des moyennes et des catégories.
• Registre de modèles : Versionne les modèles entraînés et leurs métadonnées, tandis que le magasin de caractéristiques versionne les entrées consommées par ces modèles.
• Service de modèles : Exécute le modèle derrière une API et appelle le magasin en ligne pour récupérer les caractéristiques de chaque requête.

Caractéristiques issues de la vision par ordinateur#

L’analyse vidéo transforme les flux des caméras en caractéristiques utiles aux prévisions, à la détection d’anomalies et à la modélisation prédictive : nombre horaire de visiteurs à l’entrée d’un magasin, longueur des files d’attente aux caisses ou taux de défaut par ligne de production, chacun associé à un ID de caméra ou de ligne et à un horodatage. Dans le commerce de détail, le comptage des personnes alimente les modèles de dotation en personnel et de demande ; dans l’industrie manufacturière, les nombres de défauts par équipe alimentent les modèles de maintenance. Le comptage d’objets Ultralytics YOLO produit directement ces valeurs : il suit chaque objet détecté d’une image à l’autre et renvoie les totaux cumulés in_count et out_count, ainsi que les nombres par classe, lorsque les objets franchissent une ligne ou une zone, prêts à être écrits dans un magasin de caractéristiques sous forme de valeurs horodatées par caméra.