Реранкер

Как работают реранкеры

Фундаментальная причина использования реранкера заключается в балансе между скоростью и точностью. Первоначальные поисковые системы, такие как поиск по ключевым словам или приближенный поиск ближайших соседей (ANN) по вкраплениям, должны быстро сканировать потенциально массивные наборы данных (например, веб-документы, каталоги товаров или базы данных изображений), чтобы выявить потенциально релевантные элементы. Эти системы первого этапа ставят во главу угла скорость и высокий уровень запоминания, то есть они стремятся получить все потенциально релевантные элементы, даже если это означает включение некоторых менее релевантных. Часто они возвращают больший набор кандидатов, чем требуется в конечном итоге.

Затем реранкер берет меньшее подмножество этих лучших кандидатов (например, 100 лучших результатов из первоначального поиска) и применяет более мощную, требовательную к вычислительным ресурсам модель. Эта модель может провести более глубокий анализ взаимосвязи между запросом пользователя и каждым элементом-кандидатом. Распространенные техники предполагают использование сложных моделей глубокого обучения (DL), таких как трансформеры, в частности их разновидностей, известных как кросс-кодеры. Кросс-кодеры оценивают запрос и элемент-кандидат вместе, что позволяет получить богатое понимание контекстной релевантности, часто превосходящее начальный этап поиска, который может оценивать вкрапления запроса и элемента по отдельности. Реранкер выводит новую, уточненную оценку релевантности для каждого кандидата, позволяя системе представить наиболее релевантные элементы первыми, тем самым повышая точность конечных результатов.

Рерайтинг против первичного поиска

Очень важно отличать реранкеры от начального этапа поиска или ранжирования:

• Первоначальное извлечение (первый этап):
  • Цель: быстро найти широкий набор потенциально релевантных кандидатов из большого корпуса. Приоритеты - скорость и запоминание.
  • Методы: Часто используются такие техники, как инвертированные индексы(Apache Lucene, Elasticsearch), ANN-поиск по вкраплениям или более простые скоринговые функции.
  • Сложность: Вычислительно дешевле на один элемент, масштабируется до миллиардов элементов.
• Рерайтинг (второй этап):
  • Цель: точно переупорядочить меньший набор лучших кандидатов, полученных на первом этапе. Приоритет отдается точности и релевантности.
  • Методы: Используются более сложные модели, такие как кросс-кодеры на основе BERT, трансформаторы или другие сложные взаимодействия признаков. Методы часто включают в себя настройку гиперпараметров для достижения оптимальной производительности.
  • Сложность: Вычислительно дороже в расчете на один пункт, но применяется только к ограниченному числу кандидатов (например, 50-200 лучших).

Применение и примеры

Реранкеры жизненно необходимы во многих современных приложениях ИИ:

• Веб-поисковые системы: Такие компании, как Google и Microsoft Bing используют многоступенчатые системы ранжирования, в которых реранкеры играют решающую роль в уточнении верхних результатов поиска, представляемых пользователям, учитывая нюансы, выходящие за рамки простого совпадения ключевых слов. Это основная часть исследования информационного поиска.
• Платформы электронной коммерции: Такие сайты, как Amazon, используют реранкеры для уточнения рекомендаций по товарам и результатов поиска, показывая пользователям товары, которые они с большей вероятностью приобретут, основываясь на сложных моделях поведения пользователей и характеристиках товаров. Об этом подробно рассказывается в исследованиях таких мест, как Amazon Science.
• Retrieval-Augmented Generation (RAG): В системах, использующих большие языковые модели (LLM), RAG сначала извлекает релевантные документы, чтобы обеспечить контекст. Затем реранкер может уточнить эти найденные документы, обеспечивая передачу наиболее релевантного контекста в LLM для генерации более точного и обоснованного ответа. Такие сервисы, как Cohere Rerank API, специально разработаны для этой цели.
• Постобработка компьютерного зрения: Хотя традиционно их не называют "реранкерами", такие техники, как немаксимальное подавление (NMS), используются в таких моделях обнаружения объектов, как Ultralytics YOLO имеют схожую философию. NMS уточняет начальный набор предсказанных ограничивающих границ на основе оценок доверия и перекрытия(IoU), сохраняя наиболее вероятные обнаружения и подавляя избыточные, что напоминает уточнение начальных кандидатов. Ты можешь найти советы по обучению моделей и изучить эталоны производительности таких моделей. Для обучения таких моделей часто используются платформы вроде Ultralytics HUB для управления наборами данных и экспериментами.