Reranker

Cómo funcionan los Rerankers

La razón fundamental para utilizar un reranker consiste en equilibrar velocidad y precisión. Los sistemas de recuperación iniciales, como la búsqueda basada en palabras clave o la búsqueda aproximada del vecino más próximo (RNA ) sobre incrustaciones, deben escanear rápidamente conjuntos de datos potencialmente masivos (como documentos web, catálogos de productos o bases de datos de imágenes) para identificar elementos potencialmente relevantes. Estos sistemas de primera fase dan prioridad a la velocidad y a una alta recuperación, lo que significa que pretenden recuperar todos los elementos potencialmente relevantes, aunque ello implique incluir algunos menos relevantes. A menudo devuelven un conjunto de candidatos mayor del que se necesita en última instancia.

A continuación, un reranker toma un subconjunto más pequeño de estos candidatos principales (por ejemplo, los 100 mejores resultados de la búsqueda inicial) y aplica un modelo más potente y exigente desde el punto de vista computacional. Este modelo puede realizar un análisis más profundo de la relación entre la consulta del usuario y cada elemento candidato. Las técnicas habituales implican el uso de modelos complejos de aprendizaje profundo (DL) como los Transformadores, en particular las variantes conocidas como codificadores cruzados. Los codificadores cruzados evalúan la consulta y un elemento candidato juntos, lo que permite una comprensión rica de la relevancia contextual, a menudo superior a la etapa de recuperación inicial, que podría evaluar las incrustaciones de la consulta y del elemento por separado. El reencaminador emite una nueva puntuación de relevancia refinada para cada candidato, lo que permite al sistema presentar primero los elementos más relevantes, mejorando así la precisión de los resultados finales.

Reranking vs. Recuperación inicial

Es crucial distinguir los rerankers de la etapa inicial de recuperación o clasificación:

• Recuperación Inicial (Primera Etapa):
  • Objetivo: Encontrar rápidamente un amplio conjunto de candidatos potencialmente relevantes de un corpus grande. Prioriza la velocidad y la recuperación.
  • Métodos: A menudo utiliza técnicas como índices invertidos(Apache Lucene, Elasticsearch), búsqueda RNA en incrustaciones, o funciones de puntuación más sencillas.
  • Complejidad: Computacionalmente más barato por elemento, escalable a miles de millones de elementos.
• Nueva clasificación (segunda fase):
  • Objetivo: Reordenar con precisión un conjunto más pequeño de candidatos principales proporcionado por la primera etapa. Prioriza la precisión y la relevancia.
  • Métodos: Utiliza modelos más complejos, como codificadores cruzados basados en BERT, Transformadores u otras interacciones de características sofisticadas. Las técnicas suelen implicar el ajuste de hiperparámetros para un rendimiento óptimo.
  • Complejidad: Computacionalmente más caro por elemento, pero sólo se aplica a un número limitado de candidatos (por ejemplo, los 50-200 mejores).

Aplicaciones y ejemplos

Los renombradores son vitales en muchas aplicaciones modernas de IA:

• Buscadores web: Empresas como Google y Microsoft Bing utilizan sistemas de clasificación de varias etapas en los que los rerankers desempeñan un papel crucial a la hora de refinar los principales resultados de búsqueda que se presentan a los usuarios, teniendo en cuenta factores matizados que van más allá de la simple coincidencia de palabras clave. Se trata de una parte esencial de la investigación sobre la recuperación de información.
• Plataformas de comercio electrónico: Sitios como Amazon utilizan rerankers para perfeccionar las recomendaciones de productos y los resultados de las búsquedas, mostrando a los usuarios artículos que es más probable que compren, basándose en patrones complejos de comportamiento de los usuarios y en las características de los artículos. Esto se detalla en investigaciones de sitios como Amazon Science.
• Generación mejorada por recuperación (RAG): En los sistemas que utilizan Grandes Modelos Lingüísticos (LLM), la RAG recupera primero los documentos relevantes para proporcionar el contexto. A continuación, un reranker puede refinar estos documentos recuperados, asegurándose de que el contexto más relevante se pasa al LLM para generar una respuesta más precisa e informada. Los servicios como la API Cohere Rerank están diseñados específicamente para este fin.
• Postprocesado de Visión Artificial: Aunque tradicionalmente no se denominan "rerankers", técnicas como la Supresión No Máxima (NMS) utilizada en modelos de detección de objetos como Ultralytics YOLO comparten una filosofía similar. La NMS refina un conjunto inicial de cuadros delimitadores predichos basándose en las puntuaciones de confianza y el solapamiento(IoU), manteniendo las detecciones más probables y suprimiendo las redundantes, de forma similar al refinamiento de los candidatos iniciales. Puedes encontrar consejos para el entrenamiento de modelos y explorar puntos de referencia de rendimiento para tales modelos. El entrenamiento de estos modelos suele aprovechar plataformas como Ultralytics HUB para gestionar conjuntos de datos y experimentos.