Retrieval Augmented Generation (RAG)

Retrieval Augmented Generation (RAG) — это передовой метод в области искусственного интеллекта, который оптимизирует вывод Large Language Model (LLM) путем обращения к авторитетной базе знаний вне его обучающих данных. Традиционные генеративные модели опираются исключительно на статическую информацию, изученную во время их первоначального обучения, что может привести к устаревшим ответам или уверенным неточностям, известным как hallucinations. RAG устраняет этот разрыв, извлекая релевантную, актуальную информацию из внешних источников — таких как базы данных компании, текущие новости или технические руководства — и передавая ее модели в качестве контекста до генерации ответа. Этот процесс гарантирует, что результаты работы ИИ будут не только лингвистически когерентными, но и фактически точными и обоснованными конкретными данными.

Как работают системы RAG#

Архитектура системы RAG обычно включает в себя две основные фазы: извлечение (retrieval) и генерацию (generation). Этот рабочий процесс позволяет разработчикам поддерживать foundation model без дорогостоящей необходимости частой переподготовки.

1. Извлечение (Retrieval): Когда пользователь отправляет запрос, система сначала выполняет semantic search по специализированной системе хранения, называемой vector database. Эта база данных содержит данные, которые были преобразованы в числовые представления, известные как embeddings, что позволяет системе находить концептуально похожую информацию, а не просто сопоставлять ключевые слова.

2. Генерация (Generation): Найденные в ходе извлечения релевантные документы или фрагменты данных объединяются с исходным вопросом пользователя. Этот дополненный промпт затем отправляется в генеративную модель. Модель использует предоставленный контекст для синтеза ответа, гарантируя, что он опирается на извлеченные факты. Более подробно с механикой можно ознакомиться в IBM provides a comprehensive guide on RAG workflows.

Визуальный RAG: Интеграция компьютерного зрения#

Хотя RAG традиционно основывается на тексте, развитие multi-modal learning привело к появлению «Visual RAG». В этом сценарии модели computer vision действуют как механизм извлечения. Они анализируют изображения или видеопотоки для извлечения структурированных текстовых данных — таких как названия объектов, их количество или действия, — которые затем передаются в LLM для ответа на вопросы о визуальной сцене.

Например, разработчик может использовать YOLO26 для обнаружения объектов на изображении и передать этот список объектов текстовой модели для создания описательного отчета.

from ultralytics import YOLO

# Load the YOLO26 model for state-of-the-art detection
model = YOLO("yolo26n.pt")

# Perform inference to 'retrieve' visual facts from an image
results = model("https://ultralytics.com/images/bus.jpg")

# Extract class names to build a text context for an LLM
detected_classes = [model.names[int(c)] for c in results[0].boxes.cls]
context_string = f"The scene contains: {', '.join(detected_classes)}."

print(context_string)
# Output example: "The scene contains: bus, person, person, person."

Реальные приложения#

RAG трансформирует отрасли, позволяя AI agents безопасно получать доступ к проприетарным или актуальным данным в реальном времени.

• Корпоративные базы знаний: Компании используют RAG для создания внутренних чат-ботов, которые отвечают на вопросы сотрудников о кадровой политике или технической документации. Подключив LLM к хранилищу живых документов, система избегает предоставления устаревшей информации о политике. Подробнее о корпоративных внедрениях см. в Google Cloud's overview of RAG in Vertex AI.
• Клиническая поддержка принятия решений: В сфере AI in healthcare системы RAG могут извлекать историю болезни пациента и недавние медицинские научные работы, чтобы помогать врачам в диагностике, гарантируя, что рекомендации учитывают самые свежие клинические исследования.
• Умные торговые ассистенты: Приложения, использующие AI in retail, задействуют RAG для проверки баз данных живого инвентаря. Если покупатель спрашивает чат-бота: «Есть ли у вас эти кроссовки 10-го размера?», модель извлекает уровни запасов в реальном времени перед ответом, предотвращая разочарование из-за отсутствия товаров.

RAG против дообучения (Fine-Tuning)#

Крайне важно отличать RAG от fine-tuning, поскольку они решают разные задачи.

• RAG (Retrieval Augmented Generation): Лучше всего подходит для доступа к динамическим, часто меняющимся данным (например, курсы акций, новости) или к частным данным, отсутствующим в публичном наборе для обучения. Он фокусируется на предоставлении новой информации во время выполнения.
• Тонкая настройка (Fine-Tuning): Лучше всего подходит для адаптации поведения, стиля или терминологии модели. Она включает в себя обновление model weights на определенном наборе данных. Хотя тонкая настройка помогает модели усвоить определенный языковой паттерн (например, медицинский жаргон), она не дает доступа к фактам в реальном времени. См. OpenAI's guide on fine-tuning vs. RAG для получения фреймворков принятия решений.

Связанные концепции#

• LangChain: Популярный open-source фреймворк, специально разработанный для упрощения создания приложений RAG путем объединения ретриверов и LLM в цепочки.
• Knowledge Graph: Структурированный способ представления данных, который можно использовать в качестве источника для извлечения, предлагающий более богатые по контексту связи, чем простое векторное сходство.
• Prompt Engineering: Искусство создания входных данных для направления модели. RAG — это по сути автоматизированная форма промпт-инжиниринга, где «промпт» программно обогащается извлеченными данными.
• Ultralytics Platform: В то время как RAG обрабатывает сторону генерации текста, подобные платформы необходимы для управления data preprocessing и обучением моделей компьютерного зрения, которые подают визуальные данные в мультимодальные конвейеры RAG.