Обогащение промптов

Оперативное обогащение — это автоматизированный процесс дополнения исходных данных пользователя соответствующим контекстом, конкретными инструкциями или дополнительными данными перед их отправкой в модель искусственного интеллекта (ИИ). Эта техника действует как интеллектуальный промежуточный слой, который оптимизирует взаимодействие между людьми и машинами, обеспечивая получение комплексных запросов большими языковыми моделями (LLM) и системами компьютерного зрения. Добавляя детали, которые пользователь может упустить, такие как исторические предпочтения, данные о местоположении или технические ограничения, быстрое обогащение значительно повышает точность и персонализацию результатов модели, не требуя от пользователя быть экспертом в составлении подробных инструкций.

Механизм обогащения

Основная функция быстрого обогащения заключается в том, чтобы преодолеть разрыв между неопределенным намерением человека и точными, богатыми данными входными данными, которые необходимы моделям для оптимальной работы. При получении запроса система анализирует его и извлекает необходимую справочную информацию из графа знаний или структурированной базы данных. Эти извлеченные данные программно форматируются и добавляются к исходному запросу.

Например, в рабочих процессах обработки естественного языка (NLP) простой вопрос типа «Каков статус?» является контекстуально недостаточным. Система обогащения идентифицирует активную сессию, извлекает последний номер заказа из транзакционной базы данных и переписывает запрос на: «Пользователь спрашивает о заказе № 998, который в настоящее время находится в пути. Предоставьте обновленную информацию о доставке на основе этого статуса». В этом процессе часто используются векторные базы данных для быстрого поиска семантически релевантного контекста для вставки.

Применение в реальном мире

Быстрое обогащение данных имеет решающее значение для развертывания надежных генеративных приложений искусственного интеллекта в различных отраслях, улучшая как текстовые, так и визуальные системы:

1. Контекстно-зависимая поддержка клиентов: в автоматизированных службах поддержки чат-бот использует обогащение данных для доступа к истории покупок клиента и информации о его технической среде. Вместо того, чтобы спрашивать у пользователя версию его устройства, система извлекает эту информацию из метаданных учетной записи и вставляет ее в запрос. Это позволяет AI-агенту сразу же предоставить конкретные для данного устройства шаги по устранению неполадок, что значительно улучшает качество обслуживания клиентов.
2. Динамическая настройка компьютерного зрения: в операциях по обеспечению безопасности пользователь может просто включить настройку «Ночной режим». За кулисами быстрое обогащение преобразует это высокоуровневое намерение в конкретные классы объектов для детектора с открытым словарем, такого как YOLO. Система обогащает подсказку, чтобы специально сканировать «фонарик», «подозрительные движения» или «неуполномоченное лицо», позволяя модели динамически адаптировать фокус обнаружения объектов.

Пример: динамическое обогащение классов

Следующие Python Пример демонстрирует концепцию быстрого обогащения с использованием the ultralytics пакет. Здесь высокоуровневое намерение пользователя программно обогащается списком конкретных описательных классов, которые сканирует модель.

from ultralytics import YOLO


def run_enriched_inference(user_mode):
    """Enriches a simple user mode into specific detection prompts."""
    # Load a YOLO-World model capable of open-vocabulary detection
    model = YOLO("yolov8s-world.pt")

    # Enrichment Logic: Map simple user intent to detailed class prompts
    context_map = {
        "site_safety": ["hard hat", "safety vest", "gloves"],
        "traffic": ["car", "bus", "traffic light", "pedestrian"],
    }

    # Inject the enriched context into the model
    enriched_classes = context_map.get(user_mode, ["object"])
    model.set_classes(enriched_classes)

    # The model now looks for the specific enriched terms
    print(f"Mode: {user_mode} -> Enriched Prompt: {enriched_classes}")


run_enriched_inference("site_safety")

Обогащение промптов в сравнении со смежными концепциями

Для реализации эффективных Для реализации эффективных операций машинного обучения (MLO) полезно отличать оперативное обогащение от схожих терминов:

• Поисковое обогащение генерации (RAG): RAG — это специфический метод обогащения. Он относится строго к механизму извлечения релевантных документов из внешнего корпуса для обоснования ответа модели. Обогащение — это более широкое понятие, которое включает RAG, но также охватывает ввод статических данных сеанса, метаданных пользователя или системного времени без необходимости выполнения сложного семантического поиска.
• Prompt Engineering: Это ручная работа по созданию эффективных подсказок. Обогащение - это автоматизированный процесс, который применяет принципы проектирования подсказок принципы проектирования динамически во время выполнения.
• Оперативный тюнинг: Это параметрически эффективная тонкая настройка (PEFT) техника, в которой "мягкие подсказки" (обучаемые тензоры) оптимизируются в процессе обучения. Обогащение подсказок происходит полностью во время в режиме реального времени и не изменяет весовых коэффициентов модели.
• Обучение с помощью нескольких выстрелов: Этот предполагает приведение примеров в подсказке для обучения модели заданию. Системы обогащения часто вводят эти динамически в зависимости от типа задачи, эффективно сочетая обе концепции.

Актуальность в современных системах искусственного интеллекта

По мере того, как такие модели, как Ultralytics и GPT-4, становятся все более способными, узким местом часто становится качество входных данных. Обогащение подсказок смягчает галлюцинации в LLM, основывая модель на фактических, предоставленных данных. В компьютерном зрении (CV) это позволяет создавать гибкие системы обнаружения с нулевым обучением, которые могут мгновенно адаптироваться к новым средам без переобучения, просто изменяя текстовые подсказки, вводимые в систему. Эта гибкость имеет решающее значение для создания масштабируемых мультимодальных решений ИИ, которые могут рассуждать как над текстом, так и над изображениями. Пользователи, желающие управлять наборами данных, используемыми для закрепления этих систем, часто полагаются на такие инструменты, как Ultralytics , чтобы эффективно организовывать и аннотировать свою информацию .