Reranker

Реранкер - это сложная модель, используемая в многоступенчатых информационных системах для уточнения и улучшения упорядочивания первоначального списка кандидатов. В то время как первичная система, известная как ретривер, быстро собирает широкий набор потенциально релевантных элементов, ретранслятор выполняет более детальный и требующий больших вычислительных затрат анализ этого меньшего, предварительно отфильтрованного набора. Его цель - пересортировать эти элементы, поместив наиболее релевантные на самый верх, что повышает точность и запоминаемость конечного результата. Этот двухэтапный процесс позволяет системам балансировать между скоростью и точностью, эффективно предоставляя высококачественные результаты.

Как работают реранкеры

Рерайтинг обычно включает в себя двухступенчатую архитектуру, которая характерна для современных семантическом поиске и рекомендательных системах:

1. Первый этап поиска: Быстрая, но менее точная модель (ретривер) сканирует массивную базу данных, чтобы быстро найти большой набор элементов-кандидатов. В компьютерном зрении это может быть начальная модель, которая генерирует множество потенциальных ограничивающие рамки для объектов. Приоритетом здесь является высокий уровень запоминания - гарантия того, что ни один релевантный объект не будет пропущен.
2. Второй этап реранжирования: Первоначальный набор кандидатов передается на повторное ранжирование. Часто это более сложная и мощная модель, такая как Нейронная сеть на основе трансформатора. Реранжировщик рассматривает кандидатов более детально, учитывая тонкий контекст, семантические связи и сложные характеристики. которые ретривер первого этапа проигнорировал ради скорости. Затем он рассчитывает новый, более точный балл релевантности для каждого и соответствующим образом упорядочивает список.

Этот подход эффективен с вычислительной точки зрения, поскольку дорогостоящая модель повторного ранжирования обрабатывает лишь небольшое подмножество данных, которые уже были отфильтрованы более быстрым ретривером.

Реренкеры и извлекатели первого этапа

Важно различать реранкеры и поисковые системы первого этапа.

• Ретривер первого уровня: Оптимизирован для скорости и запоминания. Его задача - быстро просеять огромный данных и создать широкий, всеохватывающий список кандидатов. Он использует более простые методы оценки, такие как сопоставление ключевых слов сопоставление ключевых слов или базовые вкрапления.
• Реранкер: Оптимизирован для точности и релевантности. Он берет управляемый список из ретривера и применяет глубокий, учитывающий контекст анализ для получения окончательного, высокоточного рейтинга. Он работает медленнее и более ресурсоемкий, но работает с гораздо меньшим набором данных.

По сути, ретривер забрасывает широкую сеть, а реранкер тщательно осматривает улов, чтобы найти самые ценные предметы.

Приложения и примеры

Реранкеры являются важнейшим компонентом многих современных искусственного интеллекта (ИИ) приложений:

• Поисковые системы: Такие компании, как Google и Microsoft Bing используют многоступенчатые системы ранжирования, в которых решающую роль играют реранкеры. роль. После того как в результате первоначального поиска были найдены тысячи страниц, сложный ранжировщик анализирует такие факторы, как намерение пользователя и качество контента, чтобы представить наиболее релевантные результаты. намерения пользователя и качество контента, чтобы представить наиболее релевантные результаты. Это основная часть современных исследований в области информационного поиска.
• Платформы электронной коммерции: Такие сайты, как Amazon, используют реранкеры для уточнения результатов поиска товаров. Первоначальный поиск может вывести все "беговые кроссовки", но реранкер будет анализирует отзывы пользователей, историю покупок и популярность бренда, чтобы показать товары, которые пользователь с наибольшей вероятностью купит. подробно рассматривается в Amazon Science.
• Поколение с дополненным извлечением (RAG): В системах, использующих Большие языковые модели (LLM), RAG сначала извлекает релевантные документы из базы знаний. Затем ретранслятор просеивает эти документы, чтобы обеспечить передачу наиболее точной и контекстуально релевантной информации для передачи в LLM, что значительно повышает качество генерируемого ответа. Такие сервисы, как Cohere Rerank API. специально разработаны для этой цели.
• Аналогия в компьютерном зрении: Методы постобработки, такие как Немаксимальное подавление (NMS) в модели обнаружения объектов, такие как Ultralytics YOLO11 разделяют одну и ту же философию. Модель Детектор объектов сначала предлагает множество потенциальных ограничивающих рамок. Затем NMS действует как реранкер, оценивая эти кандидатов на основе их баллов доверия и перекрытия (IoU).IoU), отсеивая лишние боксы и сохраняя только лучшие. Это уточнение имеет решающее значение для точных прогнозов. Вы можете изучить эталоны производительности и найти советы по обучению этих моделей.

Следующий код демонстрирует, как можно настроить NMS, действующий как реранкер для ограничительных коробок, во время вывода с ultralytics модель.

from ultralytics import YOLO

# Load an official YOLO11 model
model = YOLO("yolo11n.pt")

# Run inference on an image with custom NMS settings
# The 'iou' threshold filters out boxes with high overlap, similar to how a
# reranker removes less relevant, redundant items from a list.
results = model.predict("path/to/image.jpg", iou=0.5, conf=0.25)

# Print the results
results[0].show()