Retrieval Augmented Generation (RAG)

Retrieval Augmented Generation (RAG) - это продвинутая система, разработанная для оптимизации вывода больших языковых моделей (LLM) путем обращения к авторитетной базе знаний за пределами исходных обучающих данных. В стандартных генеративных системах ИИ модель полагается исключительно на статической информации, которую она усвоила в процессе обучения, что может привести к устаревшим ответам или фактическим ошибкам, известным как галлюцинации. RAG устраняет этот пробел путем извлечения релевантной, актуальной информации из доверенных внешних источников и предоставления ее модели в качестве контекста перед генерацией ответа. Этот процесс эффективно обосновывает работу ИИ, обеспечивая высокую точность и релевантность без необходимости дорогостоящего переобучения модели.

Принцип работы дополненного поиска

Рабочий процесс RAG объединяет два основных компонента: поисковую систему и модель генерации. Эта синергия преобразует как обработка естественного языка (NLP) выполнение задач.

1. Поиск: Когда пользователь отправляет запрос, система сначала выполняет поиск в специализированной базе знаний. базу знаний, которая обычно хранится в векторной базе данных. Эта база данных содержит вкрапления - числовыепредставления текста или данных, которые обеспечивают эффективный семантический поиск. Ретривер определяет документы или фрагменты данных, которые наиболее семантически схожи с запросом пользователя.
2. Дополнение: Полученная информация объединяется с исходным запросом пользователя с помощью методы оперативного проектирования. Этот "дополненная" подсказка обеспечивает модель необходимым фактическим контекстом, которого ей изначально не хватало.
3. Генерация: Наконец, обогащенная подсказка передается в LLM. Модель использует предоставленный контекст для создания связного и фактологически обоснованного ответа. Ведущие фреймворки, такие как LangChain, часто используются для организации этих этапов.

Применение в реальном мире

RAG незаменим в отраслях, где данные часто меняются или где важна точность.

• Управление корпоративными знаниями: Организации используют RAG для создания внутренних чат-ботов, которые помогают сотрудникам. Например, HR HR-помощник может получить последние документы с сервера компании, чтобы ответить на вопросы о льготах. Этот Это гарантирует, что ИИ будет придерживаться конкретных протоколов компании, а не общих знаний из Интернета.
• Поддержка принятия клинических решений: В области медицины, ИИ в здравоохранении значительно выигрывает от RAG. Система может извлекать самые последние медицинские исследования или истории болезни пациентов, чтобы помочь врачам в постановке диагноза. врачам в диагностике, гарантируя, что прогнозирование основано на последних достижениях науки, а не на модели, которая была создана в конце прошлого века. а не на дате создания модели.

RAG в компьютерном зрении

Традиционно основанные на текстовых данных, концепции RAG распространяются на компьютерного зрения (КВ). В мультимодальной модели система может извлекать похожие изображения или визуальные метаданные для помощи в обнаружении или классификации объектов. Например, идентификация редкого биологического образца может быть улучшена путем извлечения эталонных изображений из научной базы данных, чтобы дополнить визуальный анализ, выполняемый такими моделями, как Ultralytics YOLO11.

RAG против тонкой настройки

Важно различать RAG и тонкую настройку, поскольку они решают разные задачи:

• RAG связывает модель с динамическими, внешними фактами. Он лучше всего подходит для приложений, требующих актуальной информации и верифицируемости. Он не изменяет внутренние параметры модели.
• Тонкая настройка предполагает дальнейшее обучение модель на конкретном наборе данных для корректировки весов модели. Это идеально подходит для обучения модели определенному стилю, тону или специализированному поведению в задаче, но это менее эффективно для поддержания базы знаний, состоящей из быстро меняющихся фактов. Часто разработчики используют трансферное обучение, чтобы объединить оба подхода для достижения оптимальной производительности.

Пример: Дополнение подсказки данными об обнаружении

В этом примере Python мы смоделируем базовый рабочий процесс RAG, используя модель обнаружения объектов для "извлечения" фактов об изображении. Затем эти факты дополняют текстовую подсказку, обосновывая описание проверенными визуальными данными.

from ultralytics import YOLO

# Load the YOLO11 model acting as our 'retrieval' mechanism for visual facts
model = YOLO("yolo11n.pt")

# Run inference to retrieve content information from the image
results = model("https://ultralytics.com/images/bus.jpg")

# Extract detected classes to augment the prompt
detected_objects = [model.names[int(cls)] for cls in results[0].boxes.cls]
context_string = ", ".join(set(detected_objects))

# Construct the augmented prompt (RAG concept)
prompt = f"Based on the verified presence of {context_string} in the scene, describe the traffic situation."
print(f"Augmented Prompt: {prompt}")