Reranker

Un reranker est un modèle sophistiqué utilisé dans les systèmes d'information à plusieurs niveaux pour affiner et améliorer l'ordre d'une liste initiale de candidats. liste initiale de candidats. Alors qu'un système primaire, connu sous le nom de "retriever", rassemble rapidement un large ensemble d'éléments potentiellement pertinents, le "reranker" effectue un travail plus détaillé et plus intensif en termes de calcul. Le reranker, quant à lui, effectue une analyse plus détaillée et plus intensive en termes de calcul sur cet ensemble plus restreint, plus petit et pré-filtré. Son objectif est de re-trier ces éléments pour placer les plus pertinents tout en haut de la liste, améliorant ainsi la précision et le rappel du résultat final. la précision et le rappel de la sortie finale. Ce processus Ce processus en deux étapes permet aux systèmes d'équilibrer la vitesse et la précision, en fournissant des résultats de haute qualité de manière efficace.

Fonctionnement des Rerankers

Le reclassement implique généralement une architecture en deux étapes qui est courante dans les systèmes modernes de recherche sémantique et de recommandation. modernes de recherche sémantique et de recommandation :

1. Récupération au premier stade : Un modèle rapide mais moins précis (le récupérateur) parcourt une base de données massive pour trouver rapidement un grand nombre d'éléments candidats. pour trouver rapidement un grand nombre d'éléments candidats. Dans le domaine de la vision par ordinateur, il pourrait s'agir d'un modèle initial qui génère de nombreuses boîtes de délimitation potentielles pour les objets. La priorité est ici un taux de mémorisation élevé, afin de s'assurer qu'aucun élément pertinent n'est oublié.
2. Deuxième étape du reclassement : L'ensemble initial de candidats est ensuite transmis au reranker. Il s'agit souvent d'un modèle plus complexe et plus puissant, tel qu'un réseau neuronal à base de transformateurs. Le reranker examine les candidats plus en détail, en tenant compte du contexte subtil, des relations sémantiques et des caractéristiques complexes que le récupérateur de première étape a ignorées pour des raisons de rapidité. Il calcule ensuite un nouveau score de pertinence plus précis pour chaque élément et réorganise la liste en conséquence. et réorganise la liste en conséquence.

Cette approche est efficace sur le plan informatique, car le modèle de reclassement coûteux ne traite qu'un petit sous-ensemble des données totales, qui ont déjà été filtrées par le récupérateur le plus rapide. données totales, qui ont déjà été filtrées par le récupérateur plus rapide.

Re-classeurs vs. Extracteurs de première étape

Il est important de faire la distinction entre les reclasseurs et les récupérateurs de première étape.

• Retriever de premier niveau: Optimisé pour la vitesse et la mémorisation. Son rôle est de passer rapidement au crible un grand nombre de données et de créer une liste large et exhaustive de candidats. quantité de données et de créer une liste large et inclusive de candidats. Il utilise des méthodes de notation plus simples, telles que l'appariement par mot-clé ou l'intégration de base. mots clés ou les enchâssements de base.
• Reranker: Optimisé pour la précision et la pertinence. Il prend la liste gérable du récupérateur et applique une analyse contextuelle approfondie pour produire un classement final très précis. et applique une analyse profonde et contextuelle pour produire un classement final très précis. Il est plus lent et plus plus lent et plus gourmand en ressources, mais il opère sur un ensemble de données beaucoup plus restreint.

En fait, le retriever jette un large filet, tandis que le reranker inspecte soigneusement la prise pour trouver les objets les plus précieux. les plus précieux.

Applications et exemples

Les spécialistes du repositionnement sont un élément essentiel de nombreux systèmes d'intelligence artificielle (IA) de pointe. l'intelligence artificielle (IA) de pointe :

• Moteurs de recherche sur le web: Des entreprises comme Google et Microsoft Bing utilisent des systèmes de classement à plusieurs niveaux où les rerankers jouent un rôle rôle crucial. Après une première recherche de milliers de pages, un reranker sophistiqué analyse des facteurs tels que l'intention de l'utilisateur et la qualité du contenu afin de présenter les résultats les plus pertinents. l'intention de l'utilisateur et la qualité du contenu pour présenter les résultats les plus pertinents. Il s'agit d'un élément essentiel de la recherche moderne en matière de recherche d'informations. recherche d'information moderne.
• Plateformes de commerce électronique: Des sites comme Amazon utilisent les rerankers pour affiner les résultats de la recherche de produits. Une recherche initiale peut donner tous les mots "chaussures de course", mais un reranker va analyse les commentaires des utilisateurs, l'historique des achats et la popularité de la marque pour montrer les articles que l'utilisateur est le plus susceptible d'acheter, un sujet étudié en détail par Amazon Science. sujet exploré en détail par Amazon Science.
• Génération améliorée par récupération (RAG): Dans les systèmes utilisant de grands modèles linguistiques (LLM), RAG récupère d'abord les documents pertinents à partir d'une base de connaissances. Un reranker passe ensuite en revue ces documents pour s'assurer que les informations les plus exactes sur le plan factuel et les plus pertinentes sur le plan contextuel sont transmises à la base de connaissances. les plus exactes sur le plan factuel et les plus pertinentes sur le plan contextuel soient transmises au LLM, ce qui améliore considérablement la qualité de l'information. LLM, ce qui améliore considérablement la qualité de la réponse générée. Des services tels que l'API Cohere Rerank sont spécialement conçus à cette fin.
• Analogie avec la vision par ordinateur: Techniques de post-traitement telles que Suppression non maximale (NMS ) dans les modèles de modèles de détection d'objets tels que Ultralytics YOLO11 partagent la même philosophie de base. Un détecteur propose d'abord de nombreuses boîtes de délimitation potentielles. NMS agit ensuite comme un réorganisateur en évaluant ces candidats en fonction de leurs scores de confiance et de leur chevauchement. candidats sur la base de leurs scores de confiance et de leur chevauchement (IoU), en supprimant les boîtes redondantes pour ne conserver que les meilleures. Ce raffinement est essentiel pour obtenir des prédictions précises. Vous pouvez explorer les benchmarks de performance et trouver des conseils pour l'apprentissage de ces modèles.

Le code suivant montre comment NMS, agissant comme un reranker pour les boîtes englobantes, peut être configuré pendant l'inférence à l'aide d'un ultralytics modèle.

from ultralytics import YOLO

# Load an official YOLO11 model
model = YOLO("yolo11n.pt")

# Run inference on an image with custom NMS settings
# The 'iou' threshold filters out boxes with high overlap, similar to how a
# reranker removes less relevant, redundant items from a list.
results = model.predict("path/to/image.jpg", iou=0.5, conf=0.25)

# Print the results
results[0].show()