Contextual Retrieval

Контекстный поиск — это метод индексирования для генерации с дополнением извлечённой информацией (RAG), при котором большая языковая модель (LLM) читает документ целиком и составляет короткую заметку, обычно на 50–100 токенов, которая помещает один фрагмент в контекст документа. Эту заметку добавляют в начало фрагмента до его преобразования в эмбеддинг и добавления в индекс ключевых слов, поэтому поиск может находить информацию, которая в самом фрагменте не указана. В сентябре 2024 года Anthropic представила контекстный поиск.

Какую проблему он решает#

Конвейеры RAG разбивают документы на небольшие фрагменты, чтобы точно преобразовывать их в эмбеддинги и помещать несколько фрагментов в контекстное окно модели. Но фрагмент, вырезанный из документа, часто теряет факты, по которым его можно найти. В качестве примера Anthropic приводит фрагмент финансового отчёта: «Выручка компании выросла на 3% по сравнению с предыдущим кварталом». В нём не названы ни компания, ни квартал, поэтому по запросу о выручке ACME за второй квартал 2023 года совпадений не будет — ни при поиске по эмбеддингам, ни при поиске по ключевым словам. Контекстный поиск сохраняет этот фрагмент в таком виде: «Этот фрагмент взят из отчёта SEC о результатах ACME Corp за второй квартал 2023 года; выручка за предыдущий квартал составляла 314 миллионов долларов. Выручка компании выросла на 3% по сравнению с предыдущим кварталом».

Контекст теряют не только текстовые фрагменты, но и обрезанные изображения объектов. Решение Ultralytics для обрезки объектов запускает YOLO26 на изображениях или видео и сохраняет каждое обнаружение в отдельном файле: crop_1.jpg, crop_2.jpg и так далее. Поэтому на обрезанном изображении виден грузовик, но не указано, с какой камеры, площадки или сцены он взят. Если индексировать каждое изображение с коротким префиксом, описывающим исходный кадр, например с названием камеры, временем и другими обнаруженными объектами вокруг, контекст восстановится для поиска по ключевым словам и семантического поиска.

Как работает контекстный поиск#

Для каждого фрагмента LLM получает полный документ и сам фрагмент с просьбой «кратко и ёмко описать контекст, необходимый для понимания места этого фрагмента в документе, чтобы улучшить его поиск». Anthropic использовала Claude 3 Haiku с кэшированием промптов: оно позволяет обработать каждый документ один раз и повторно использовать результат для всех его фрагментов. Разовая стоимость составила 1,02 доллара за миллион токенов документа. Фрагменты с контекстом добавляются в индекс эмбеддингов («контекстные эмбеддинги») и индекс ключевых слов BM25 («контекстный BM25»). Во время обработки запроса выполняется поиск по обоим индексам, а результаты объединяются, как при гибридном поиске. Затем переранжировщик оценивает 150 лучших кандидатов, и 20 лучших фрагментов добавляются в промпт.

Сравнение эмбеддинга примера фрагмента с контекстом и без него показывает эффект для векторного поиска:

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")

# Anthropic's example chunk and the context an LLM wrote for it from the full filing
chunk = "The company's revenue grew by 3% over the previous quarter."
context = "This chunk is from an SEC filing on ACME corp's performance in Q2 2023; the previous quarter's revenue was $314 million."
other = "Globex Corporation reported that Q2 2023 revenue fell 2% on weaker demand."

query = "How did ACME's revenue change in Q2 2023?"
candidates = {"plain chunk": chunk, "contextual chunk": f"{context} {chunk}", "Globex chunk": other}

# Cosine similarity of the query to each indexed text
scores = model.similarity(model.encode(query), model.encode(list(candidates.values())))[0]
for name, score in zip(candidates, scores):
    print(f"{name}: {score:.2f}")

Обычный фрагмент получает оценку 0,49 для этого запроса — такую же, как фрагмент о другой компании. После добавления контекста фрагмент получает оценку 0,83 и с большим отрывом занимает первое место.

Контекстный поиск и связанные методы#

• Позднее разбиение на фрагменты: Добавляет контекст документа к эмбеддингу каждого фрагмента с помощью механизма внимания модели эмбеддингов, без отдельного вызова LLM для каждого фрагмента. Текст сохранённого фрагмента остаётся неизменным, поэтому поиск по ключевым словам ничего не выигрывает.
• Семантическое разбиение на фрагменты: Определяет начало и конец фрагментов. Его можно сочетать с контекстным поиском, который восполняет недосказанное в каждом фрагменте.
• Префиксы заголовков и подзаголовков: Более дешёвый и старый подход, при котором к каждому фрагменту добавляют один и тот же заголовок документа или раздела. При контекстном поиске для каждого фрагмента создаётся отдельная заметка.
• Проектирование контекста: Более широкая практика определения того, что попадает в контекстное окно модели во время инференса. Контекстный поиск выполняется на один шаг раньше — на этапе индексации.

Измеренный прирост#

Anthropic измерила долю ошибок поиска как 1 минус полнота@20 — долю запросов, для которых нужный фрагмент отсутствовал среди 20 первых результатов. Базовый конвейер не справлялся с 5,7% запросов. Контекстные эмбеддинги снизили эту долю до 3,7% — на 35%, а добавление контекстного BM25 — до 2,9%, то есть на 49%. Ранжирование объединённых результатов снизило долю ошибок до 1,9% — на 67% относительно базового уровня.