Расширение возможностей приложений ИИ с помощью RAG и компьютерного зрения

Использование инструментов ИИ, таких как ChatGPT или Gemini, быстро становится привычным способом поиска информации. Готовишь ли ты сообщение, кратко пересказываешь документ или отвечаешь на вопрос — эти инструменты часто помогают сделать это быстрее и проще.

Но если ты хотя бы несколько раз использовал большие языковые модели (LLMs), то, вероятно, заметил их ограничения. Если задать им очень конкретные вопросы или вопросы, ответ на которые зависит от текущих событий, они могут дать неверный ответ и при этом звучать уверенно.

Это происходит потому, что автономные LLM опираются только на данные, на которых их обучали. У них нет доступа к последним обновлениям или специализированным знаниям за пределами этого набора данных. В результате ответы могут быть устаревшими или неточными.

Для решения этой проблемы исследователи разработали метод под названием генерация с дополненной выборкой (RAG). RAG расширяет возможности языковых моделей, позволяя им при ответе на запросы получать свежую и релевантную информацию из надёжных источников.

В этой статье мы разберём, как работает RAG и как этот подход улучшает инструменты ИИ, позволяя им находить актуальную и релевантную информацию. Также рассмотрим, как RAG работает в сочетании с компьютерным зрением — областью искусственного интеллекта, посвящённой интерпретации визуальных данных, — чтобы системы могли понимать не только текст, но и изображения, макеты и визуально сложные документы.

Разбираемся в генерации с дополненной выборкой (RAG)#

Задавая вопрос чат-боту с ИИ, мы обычно ждём не просто убедительно звучащего ответа. Хороший ответ должен быть понятным, точным и действительно полезным. Для этого модели ИИ нужны не только языковые навыки, но и доступ к нужной информации, особенно по конкретным темам или темам, где важна актуальность данных.

RAG помогает устранить этот пробел. Этот подход объединяет способность языковой модели понимать и генерировать текст с возможностью находить релевантную информацию во внешних источниках. Вместо того чтобы полагаться только на обучающие данные, модель при подготовке ответа сама извлекает подтверждающие сведения из надёжных баз знаний.

Рис. 1. Основные сценарии применения RAG. Изображение создано автором.

Представь, что ты задаёшь кому-то вопрос, а собеседник перед ответом сверяется с надёжным справочником. Он по-прежнему отвечает своими словами, но опирается на самую релевантную и актуальную информацию.

Этот подход помогает LLM давать более полные, точные и адаптированные к запросу пользователя ответы, делая их гораздо надёжнее в реальных приложениях, где точность действительно важна.

Как работает RAG#

RAG улучшает ответы большой языковой модели за счёт двух ключевых этапов: извлечения информации и генерации. Сначала модель находит релевантную информацию во внешней базе знаний, а затем использует её, чтобы сформировать связный ответ с учётом контекста.

Рассмотрим простой пример, чтобы понять, как работает этот процесс. Представь, что ты пользуешься ИИ-помощником для управления личными финансами и хочешь проверить, уложился ли ты в лимит расходов за месяц.

Всё начинается с вопроса помощнику, например: «Уложился ли я в бюджет в этом месяце?» Вместо того чтобы полагаться только на знания, полученные во время обучения, система использует модуль поиска, чтобы изучить твои последние финансовые записи — например, банковские выписки или сводки транзакций. Она определяет смысл вопроса и собирает наиболее релевантную информацию.

После извлечения информации в работу вступает языковая модель. Она обрабатывает и твой вопрос, и данные из записей, чтобы составить понятный и полезный ответ. Вместо перечня необработанных данных модель кратко подводит итоги расходов и даёт конкретный вывод — например, подтверждает, уложился ли ты в бюджет, и указывает основные статьи расходов.

Этот подход помогает LLM давать не только точные, но и основанные на реальной актуальной информации о тебе ответы, благодаря чему такой помощник гораздо полезнее модели, которая работает только со статичными обучающими данными.

Рис. 2. Как работает RAG.

Зачем нужны мультимодальные системы RAG#

Информация не всегда представлена в виде обычного текста. На медицинских снимках, схемах, слайдах презентаций и отсканированных документах часто содержатся важные детали. Традиционным большим языковым моделям (LLM), которые в основном созданы для чтения и понимания текста, бывает сложно работать с таким содержимым.

Однако RAG можно использовать вместе с компьютерным зрением, чтобы устранить этот пробел. В сочетании эти технологии образуют систему мультимодального RAG, которая может обрабатывать и текст, и изображения, помогая чат-ботам с ИИ давать более точные и полные ответы.

В основе этого подхода лежат визуально-языковые модели (VLMs), предназначенные для обработки и анализа обоих типов входных данных. В такой системе RAG извлекает наиболее релевантную информацию из крупных источников данных, а VLM, использующая компьютерное зрение, интерпретирует изображения, макеты и диаграммы.

Это особенно полезно для работы с реальными документами — например, отсканированными бланками, медицинскими заключениями и слайдами презентаций, где важные сведения могут содержаться как в тексте, так и в изображениях. Например, при анализе документа с изображениями, таблицами и абзацами мультимодальная система может извлечь визуальные элементы, составить описание их содержания и объединить его с окружающим текстом, чтобы дать более полный и полезный ответ.

Рис. 3. Мультимодальная система RAG использует изображения и текст, чтобы давать более точные ответы.

Применение RAG для визуальных данных#

Теперь, когда мы разобрались, что такое RAG и как он работает с компьютерным зрением, рассмотрим реальные примеры и исследовательские проекты, показывающие, как применяется этот подход.

Анализ визуальных документов с помощью VisRAG#

Представь, что ты пытаешься извлечь полезную информацию из финансового отчёта или отсканированного юридического документа. В таких файлах часто есть не только текст, но и таблицы, графики и макеты, помогающие понять содержание. Обычная языковая модель может упустить эти визуальные элементы или неверно их интерпретировать, что приведёт к неполным или неточным ответам.

Исследователи создали VisRAG, чтобы решить эту задачу. Это конвейер RAG на основе VLM, который обрабатывает каждую страницу как изображение, а не только извлекает текст. Благодаря этому система понимает и содержание, и его визуальную структуру. В результате она может находить наиболее релевантные фрагменты и давать более понятные и точные ответы с учётом полного контекста документа.

Рис. 4. VisRAG может читать документы как изображения, учитывая текстовое содержимое и макет.

Визуальные ответы на вопросы с помощью RAG#

Визуальный вопросно-ответный анализ (VQA) — это задача, в которой система ИИ отвечает на вопросы об изображениях. Многие существующие системы VQA предназначены для ответов на вопросы по одному документу без поиска дополнительной информации. Такой режим называется закрытым.

VDocRAG — это фреймворк RAG, который использует более реалистичный подход. Он объединяет VQA с предварительным поиском релевантных документов. Это полезно в реальных ситуациях, когда вопрос пользователя может относиться к одному из множества документов и системе нужно сначала найти нужный документ, а затем ответить. Для этого VDocRAG использует VLM, которые анализируют документы как изображения, сохраняя их текст и визуальную структуру.

Поэтому VDocRAG особенно полезен для корпоративного поиска, автоматизации документооборота и поддержки клиентов. Он помогает командам быстро извлекать ответы из сложных документов с визуальным форматированием, например руководств или нормативных документов, где понимание структуры не менее важно, чем чтение текста.

Рис. 5. Различия между VDocRAG и решениями на основе LLM.

Улучшение создания подписей к изображениям с помощью RAG#

Создание подписей к изображениям — это генерация текстового описания происходящего на изображении. Этот метод применяется во многих областях: помогает сделать онлайн-контент доступнее, обеспечивает поиск изображений, а также поддерживает модерацию контента и рекомендательные системы.

Однако моделям ИИ не всегда легко генерировать точные подписи. Особенно сложно это делать, когда на изображении показано то, чего не было в обучающих данных модели. Многие системы генерации подписей сильно зависят от обучающих данных, поэтому при встрече с незнакомыми сценами их описания могут быть расплывчатыми или неточными.

Чтобы решить эту проблему, исследователи разработали Re-ViLM — метод, который применяет генерацию с дополненной выборкой (RAG) для создания подписей к изображениям. Вместо того чтобы генерировать подпись с нуля, Re-ViLM извлекает из базы похожие пары «изображение — текст» и использует их как основу для подписи.

Такой подход помогает модели связывать описания с релевантными примерами, повышая и точность, и беглость текста. Первые результаты показывают, что Re-ViLM генерирует более естественные и учитывающие контекст подписи, опираясь на реальные примеры. Это помогает сократить количество расплывчатых и неточных описаний.

Рис. 6. Re-ViLM улучшает подписи к изображениям, извлекая примеры, сочетающие визуальные данные и текст.

Преимущества и недостатки применения RAG для анализа визуальных данных#

Кратко рассмотрим преимущества применения методов генерации с дополненной выборкой для извлечения и использования визуальной информации:

• Расширенные возможности суммаризации: в сводки можно включать информацию из визуальных данных — например, тенденции на графиках или элементы инфографики, — а не только из текста.
• Более эффективный поиск и извлечение данных: этапы поиска могут находить релевантные страницы с изображениями, даже если в тексте нет подходящих ключевых слов, — благодаря анализу изображений.
• Поддержка отсканированных документов, рукописей и документов в виде изображений: конвейеры RAG на основе VLM могут обрабатывать содержимое, недоступное для моделей, работающих только с текстом.

Несмотря на эти преимущества, при использовании RAG для работы с визуальными данными нужно учитывать и ряд ограничений. Вот основные из них:

• Высокие требования к вычислительным ресурсам: анализ изображений и текста требует больше памяти и вычислительных мощностей, что может замедлить работу или увеличить расходы.
• Проблемы с конфиденциальностью данных и безопасностью: визуальные документы, особенно в таких областях, как здравоохранение и финансы, могут содержать конфиденциальную информацию, что усложняет процессы поиска и обработки.
• Более длительный инференс: обработка визуальных данных добавляет сложности, поэтому ответы могут генерироваться дольше, чем в системах, работающих только с текстом.

Главные выводы#

Генерация с дополненной выборкой помогает большим языковым моделям отвечать на вопросы, позволяя им получать релевантную и актуальную информацию из внешних источников. В сочетании с компьютерным зрением такие системы могут обрабатывать не только текст, но и визуальные материалы — например, графики, таблицы, изображения и отсканированные документы, — что позволяет давать более точные и полные ответы.

Благодаря этому подходу LLM лучше справляются с реальными задачами, связанными со сложными документами. Объединяя поиск информации и анализ визуальных данных, эти модели эффективнее интерпретируют материалы в разных форматах и дают более полезные сведения для решения повседневных практических задач.

Присоединяйся к нашему растущему сообществу! Загляни в наш репозиторий GitHub, чтобы узнать больше об ИИ. Хочешь начать собственные проекты по компьютерному зрению? Ознакомься с нашими вариантами лицензирования. На страницах решений ты также найдёшь больше информации об ИИ в здравоохранении и компьютерном зрении в розничной торговле!