Retrieval Augmented Generation (RAG)

Генерация с дополнением извлечёнными данными (RAG) — это передовой метод в области искусственного интеллекта, который оптимизирует вывод большой языковой модели (LLM), обращаясь к авторитетной базе знаний за пределами её обучающих данных. Традиционные генеративные модели полностью полагаются на статическую информацию, полученную во время первоначального обучения, что может приводить к устаревшим ответам или уверенным неточностям, известным как галлюцинации. RAG устраняет этот пробел, извлекая релевантную и актуальную информацию из внешних источников — таких как базы данных компаний, свежие новости или технические руководства — и передавая её модели в качестве контекста до генерации ответа. Благодаря этому процессу выводы AI не только лингвистически связны, но и фактически точны и основаны на конкретных данных.

Как работают системы RAG#

Архитектура системы RAG обычно включает два основных этапа: извлечение и генерацию. Такой рабочий процесс позволяет разработчикам использовать базовую модель, избегая дорогостоящего регулярного дообучения.

1. Извлечение: Когда пользователь отправляет запрос, система сначала выполняет семантический поиск в специализированной системе хранения, называемой векторной базой данных. Эта база данных содержит данные, преобразованные в числовые представления, известные как эмбеддинги, благодаря чему система может находить концептуально схожую информацию, а не просто сопоставлять ключевые слова.

2. Генерация: Релевантные документы или фрагменты данных, найденные на этапе извлечения, объединяются с исходным вопросом пользователя. Затем этот обогащённый промпт передаётся генеративной модели. Модель использует предоставленный контекст для синтеза ответа, гарантируя, что он основан на извлечённых фактах. Чтобы глубже разобраться в механике, ознакомься с подробным руководством IBM по рабочим процессам RAG.

Визуальный RAG: интеграция компьютерного зрения#

Хотя RAG традиционно работает с текстом, развитие мультимодального обучения привело к появлению «визуального RAG». В этом сценарии модели компьютерного зрения выступают в роли механизма извлечения. Они анализируют изображения или видеопотоки, извлекая структурированные текстовые данные — такие как названия объектов, их количество или действия, — которые затем передаются LLM для ответов на вопросы о визуальной сцене.

Например, разработчик может использовать YOLO26 для обнаружения объектов на изображении, а затем передать список этих объектов текстовой модели, чтобы сгенерировать описательный отчёт.

from ultralytics import YOLO

# Load the YOLO26 model for state-of-the-art detection
model = YOLO("yolo26n.pt")

# Perform inference to 'retrieve' visual facts from an image
results = model("https://ultralytics.com/images/bus.jpg")

# Extract class names to build a text context for an LLM
detected_classes = [model.names[int(c)] for c in results[0].boxes.cls]
context_string = f"The scene contains: {', '.join(detected_classes)}."

print(context_string)
# Output example: "The scene contains: bus, person, person, person."

Практические применения#

RAG преобразует различные отрасли, позволяя AI-агентам безопасно получать доступ к закрытым данным или данным в реальном времени.

• Корпоративные базы знаний: Компании используют RAG для создания внутренних чат-ботов, отвечающих на вопросы сотрудников о кадровой политике или технической документации. Подключая LLM к актуальному репозиторию документов, система не допускает предоставления устаревшей информации о правилах. Подробнее о корпоративных реализациях читай в обзоре Google Cloud, посвящённом RAG в Vertex AI.
• Поддержка принятия клинических решений: В сфере AI в здравоохранении системы RAG могут извлекать историю болезни пациента и недавно опубликованные медицинские исследования, помогая врачам ставить диагнозы и гарантируя, что рекомендации учитывают самые последние клинические исследования.
• Умные помощники в розничной торговле: Приложения, использующие AI в розничной торговле, применяют RAG для проверки актуальных баз данных об остатках. Если клиент спрашивает чат-бота: «Есть ли у вас эти кроссовки в размере 10?», модель получает данные об остатках в реальном времени перед ответом, предотвращая разочарование из-за отсутствия товара.

RAG и дообучение: сравнение#

Крайне важно отличать RAG от дообучения, поскольку они решают разные задачи.

• RAG (генерация с дополнением извлечёнными данными): Лучше всего подходит для доступа к динамическим, часто меняющимся данным (например, ценам на акции или новостям) либо к закрытым данным, отсутствующим в общедоступном наборе для обучения. Основное внимание уделяется предоставлению новой информации во время выполнения.
• Дообучение: Лучше всего подходит для адаптации поведения, стиля или терминологии модели. Оно включает обновление весов модели на конкретном наборе данных. Хотя дообучение помогает модели изучить определённый языковой шаблон (например, медицинский жаргон), оно не даёт доступа к фактам в реальном времени. Ознакомься с руководством OpenAI по сравнению дообучения и RAG, чтобы выбрать подход на основе соответствующих критериев.

Связанные понятия#

• LangChain: Популярный фреймворк с открытым исходным кодом, специально разработанный для упрощения создания приложений RAG за счёт объединения средств извлечения и LLM в цепочки.
• Граф знаний: Структурированный способ представления данных, который можно использовать как источник для извлечения и который обеспечивает более богатые контекстуальные связи, чем простое векторное сходство.
• Проектирование промптов: Искусство составления входных данных для управления поведением модели. По сути, RAG — это автоматизированная форма проектирования промптов, в которой «промпт» программно обогащается извлечёнными данными.
• Платформа Ultralytics: Хотя RAG отвечает за генерацию текста, такие платформы необходимы для управления предварительной обработкой данных и обучением моделей компьютерного зрения, которые передают визуальные данные в мультимодальные конвейеры RAG.