Contextual Retrieval

Узнай, как контекстный поиск улучшает RAG благодаря фрагментам с учётом документов, гибридному поиску и переранжированию, а также изучи Ultralytics YOLO26 для мультимодального визуального контекста.

Контекстный поиск — это метод предварительной обработки, который улучшает генерацию с дополненным поиском (RAG), добавляя краткое пояснение, специфичное для документа, к каждому фрагменту данных перед его индексацией. Представленный в руководстве Anthropic по контекстному поиску за 2024 год, этот метод помогает поисковым системам понимать, к какой части документа относится иначе неоднозначный фрагмент, повышая качество сведений, предоставляемых большой языковой модели. (anthropic.com)

Как работает контекстный поиск#

Стандартный RAG разделяет документы на фрагменты и преобразует их в эмбеддинги. Однако такой фрагмент, как «выручка выросла на 3%», может не содержать сведений о компании, отчетном периоде и типе документа. Контекстный поиск использует полный документ для создания краткого префикса, например «В этом фрагменте описываются финансовые результаты ACME за второй квартал 2025 года», перед индексацией объединенного текста.

Типичный рабочий процесс включает:

Семантическое разбиение на фрагменты: Разделение документов на связные фрагменты, соответствующие ограничениям поиска и модели. Основная цель разбиения на фрагменты — сделать большие источники доступными для поиска, не превышая контекстное окно модели.
Генерация контекста: Использование модели для обобщения связи каждого фрагмента с его источником по процессу, аналогичному кулинарной книге Claude по контекстным эмбеддингам.
Гибридный поиск: Индексация контекстуализированных фрагментов с помощью плотных векторов и лексических методов, таких как ранжирование ключевых слов BM25.
Переранжирование: Изменение порядка найденных кандидатов с помощью более глубокого сравнения запросов и фрагментов перед передачей лучших сведений генератору.

Anthropic сообщила, что контекстные эмбеддинги в сочетании с контекстным BM25 снизили частоту ошибок поиска в топ-20 на 49%, а добавление переранжирования обеспечило снижение на 67% в ее тестах. Результаты зависят от набора данных, поэтому эти показатели следует рассматривать как эталонные, а не как гарантии. (anthropic.com)

Контекстный поиск в компьютерном зрении#

В мультимодальном RAG контекст документа может включать обнаруженные объекты, подписи к изображениям, временные метки, местоположения камер или окружающие события в видео. В приведенном ниже примере Ultralytics YOLO26 используется для создания доступного для поиска контекста изображения:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
labels = [model.names[int(cls)] for cls in result.boxes.cls.tolist()]
context = f"Street-scene image containing: {', '.join(labels)}."
print(context)

Сгенерированный текст можно добавить перед подписью к изображению или записью метаданных до создания эмбеддинга. Разработчики могут изучить связанные рабочие процессы предсказаний YOLO и поиск визуального сходства.

Практические применения#

Корпоративный и юридический поиск: Помощники по вопросам политик сохраняют названия документов, даты, отделы и взаимосвязи положений, уменьшая количество вводящих в заблуждение ответов, основанных на изолированных фрагментах.
Системы визуального обслуживания: Обнаруженные механизмы, типы дефектов и местоположения объектов обеспечивают контекст для изображений, прежде чем система найдет руководства по ремонту или записи об инспекциях.
Персонализированное образование: Обучающие агенты могут объединять диалог с учащимся и журналы активности, чтобы находить рекомендации, релевантные его текущей задаче.

Связанные методы и рекомендации#

Контекстный поиск отличается от контекстной инженерии, которая управляет всей информацией, предоставляемой модели во время выполнения. Он также отличается от исследований отложенного разбиения на фрагменты, в рамках которых полный документ преобразуется в эмбеддинги до объединения представлений токенов во фрагменты. В сравнительной оценке 2025 года контекстный поиск показал эффективность в сохранении семантической связности, но более высокую вычислительную сложность. (arxiv.org)

К текущим рекомендациям относятся тестирование нескольких размеров фрагментов, сохранение метаданных источника, объединение плотного поиска и поиска по ключевым словам, а также измерение полноты, точности, обоснованности и полноты ответов с помощью руководства Microsoft по оценке RAG. Более новые исследования, такие как точный поиск SAGE, отдают предпочтение семантической сегментации и динамическому выбору фрагментов, а эталонный тест поиска 2026 года поддерживает гибридный поиск и нейронное переранжирование для сложных текстовых документов и документов с таблицами. Команды, создающие визуальные системы знаний, могут использовать Ultralytics Platform для аннотирования наборов данных, обучения моделей компьютерного зрения, развертывания конечных точек и мониторинга компонентов, предоставляющих структурированный визуальный контекст.