Обогащение промптов

Обогащение подсказок - это процесс автоматического дополнения первоначального ввода пользователя соответствующим контекстом, данными или инструкциями перед передачей в модели искусственного интеллекта (ИИ). Посредством Вводя конкретные детали, которые пользователь мог упустить, эта техника гарантирует, что Большие языковые модели (БЯМ) и системы технического зрения системы получают полный запрос, что приводит к более точным, персонализированным и действенным результатам. Она действует как интеллектуальный промежуточный слой, который оптимизирует взаимодействие между людьми и машинами, не требуя от пользователя быть эксперта в составлении подробных подсказок.

Механизм обогащения

Основная функция обогащения подсказок - преодолеть разрыв между, возможно, неясным намерением пользователя и точным точными данными, необходимыми ИИ. Когда поступает запрос, система извлекает дополнительную информацию - например, предпочтения пользователя, исторические данные или показания датчиков в реальном времени - из графа знаний или базы данных. графа знаний или базы данных. Полученные данные программно форматируются и добавляются к исходному запросу.

Например, в Обработка естественного языка (NLP), простой вопрос типа "Каков статус?" недостаточен для модели. С помощью обогащения система определяет идентификатор активной сессии пользователя, ищет последнюю транзакцию в векторной базе данных и переписывает запрос на: "Пользователь (ID: 5521) спрашивает о заказе № 998, который в настоящее время находится в пути. Предоставьте обновленную информацию о состоянии на основе данных отслеживания".

Применение в реальном мире

Оперативное обогащение необходимо для развертывания надежных генеративных приложений ИИ в различных отраслях:

1. Поддержка клиентов с учетом контекста: В автоматизированных службах поддержки чат-бот использует обогащение, чтобы получить доступ к истории покупок клиента истории покупок и технического окружения клиента. Вместо того чтобы спрашивать у пользователя версию его устройства, система извлекает ее из метаданных учетной записи и вводит ее в запрос. Это позволяет ИИ-агент сразу же предоставляет шаги по устранению неполадок, специфичные для конкретного устройства. шаги по устранению неполадок, что значительно улучшает качество обслуживания клиентов.
2. Динамическая конфигурация компьютерного зрения: При проведении операций по обеспечению безопасности пользователь может просто переключить "Ночной режим". За кулисами обогащение подсказок переводит это высокоуровневое намерение в конкретные классы объектов для Модель языка зрения (VLM) или детектора с открытым словарем. Система обогащает подсказку, чтобы специально искать "фонарик", "подозрительное движение" или "открытую лексику". "подозрительное движение" или "неавторизованный человек", что позволяет модели динамически адаптировать динамически адаптировать модель к обнаружению объектов.

Пример: Динамическое обогащение класса с помощью YOLO

Следующий пример на Python демонстрирует концепцию обогащения подсказок с помощью Ultralytics YOLO. Здесь простой выбор пользователем выбор "режима" программно обогащается в список конкретных описательных классов, которые модель сканирует.

from ultralytics import YOLO


def run_enriched_inference(user_mode):
    """Enriches a simple user mode into specific detection prompts."""
    # Load an open-vocabulary YOLO model
    model = YOLO("yolov8s-world.pt")

    # Enrichment Logic: Map simple user intent to detailed class prompts
    context_map = {
        "site_safety": ["hard hat", "safety vest", "gloves"],
        "traffic": ["car", "bus", "traffic light", "pedestrian"],
    }

    # Inject the enriched context into the model
    enriched_classes = context_map.get(user_mode, ["object"])
    model.set_classes(enriched_classes)

    # The model now looks for the specific enriched terms
    # model.predict("site_image.jpg") # Run inference
    print(f"Mode: {user_mode} -> Enriched Prompt: {enriched_classes}")


# Example usage
run_enriched_inference("site_safety")

Обогащение промптов в сравнении со смежными концепциями

Для реализации эффективных Для реализации эффективных операций машинного обучения (MLO) полезно отличать оперативное обогащение от схожих терминов:

• Обогащение с помощью извлечения (Retrieval-Augmented Generation, RAG): RAG - это особый метод обогащения. Он относится исключительно к механизму извлечения релевантных документов из внешнего корпуса для обоснования ответа модели. Обогащение - это более широкое понятие, которое включает в себя RAG, но также включает в себя введение статических данных сеанса, метаданных пользователя или системного времени без необходимости выполнения сложного семантического поиска.
• Prompt Engineering: Это ручная работа по созданию эффективных подсказок. Обогащение - это автоматизированный процесс, который применяет принципы проектирования подсказок принципы проектирования динамически во время выполнения.
• Оперативный тюнинг: Это параметрически эффективная тонкая настройка (PEFT) техника, в которой "мягкие подсказки" (обучаемые тензоры) оптимизируются в процессе обучения. Обогащение подсказок происходит полностью во время в режиме реального времени и не изменяет весовых коэффициентов модели.
• Обучение с помощью нескольких выстрелов: Этот предполагает приведение примеров в подсказке для обучения модели заданию. Системы обогащения часто вводят эти динамически в зависимости от типа задачи, эффективно сочетая обе концепции.

Актуальность в современных системах искусственного интеллекта

Как и такие модели, как Ultralytics YOLO11 и GPT-4 становятся все более По мере роста возможностей таких моделей, как Ultralytics YOLO11 и GPT-4, узким местом часто становится качество исходного материала. Оперативное обогащение смягчает галлюцинаций в LLM, обосновывая модель на основе фактических, предоставленных данных. В В компьютерном зрении (КЗ) это позволяет создавать гибкие системы обнаружения с нулевым выстрелом, системы обнаружения, которые могут мгновенно адаптироваться к новым условиям без переобучения, просто изменяя текстовых подсказок, поступающих в систему. Такая гибкость крайне важна для создания масштабируемых мультимодальных ИИ-решений, способных рассуждать как над текстом, так и над изображениями. текстами и изображениями.