Prompt Engineering

Инженерия подсказок - это искусство и наука разработки эффективных входных сигналов (подсказок), которые направляют модели искусственного интеллекта (ИИ), в частности большие языковые модели (LLM), на создание желаемых результатов. Это можно сравнить с искусным общением с ИИ, когда нужно точно знать, что и как сказать, чтобы получить наилучший возможный ответ. Такая практика крайне важна, поскольку производительность, релевантность и качество результатов работы модели ИИ очень чувствительны к тому, как сформулирован запрос. Эффективная разработка подсказок позволяет пользователям использовать весь потенциал мощных базовых моделей для решения широкого круга задач.

Как работает Prompt Engineering

Суть разработки подсказок заключается в структурировании входных данных, которые обеспечивают четкий и достаточный контекст для модели. В то время как простой вопрос может дать простой ответ, хорошо продуманная подсказка может контролировать тон, формат и сложность. Ключевые компоненты продвинутой подсказки могут включать:

• Инструкция: Четкая и конкретная директива, указывающая модели, какое задание нужно выполнить (например, "Резюмируйте следующую статью в трех пунктах").
• Контекст: Предоставление соответствующей фоновой информации или данных, которые модель должна использовать для обоснования своего ответа.
• Персона: Назначение роли, которую должен принять ИИ, что влияет на тон и стиль выходных данных (например, "Выступить в роли эксперта-финансиста").
• Формат: Указание желаемой структуры вывода, например, список, объект JSON или определенный стиль написания.
• Примеры: Включение примеров желаемого формата входных и выходных данных - техника, известная как "обучение за несколько кадров", - помогает направить реакцию модели. Всеобъемлющий ресурс по этим техникам можно найти в Руководстве по подсказкам.

Применение в реальном мире

1. Автоматизация службы поддержки клиентов: Чтобы обеспечить последовательность и точность в работе бренда, компания может использовать инженерные подсказки для управления чатботом службы поддержки. Подсказка может предписывать ИИ использовать дружелюбный и доброжелательный тон, использовать внутреннюю базу знаний для ответов на вопросы о продукте и определять четкий протокол, когда следует перевести разговор на человеческий агент. Это контролирует поведение ИИ, не позволяя ему давать неверную информацию или взаимодействовать с клиентами в небрендовой манере.

2. Творческая генерация контента: В моделях преобразования текста в изображение, таких как Midjourney или OpenAI's DALL-E 3, подсказка является основным инструментом для создания. Простая подсказка вроде "фотография автомобиля" приведет к общему результату. Однако подробная подсказка вроде "Винтажный красный спортивный автомобиль 1960-х годов, мчащийся по прибрежному шоссе на закате, фотореалистичный стиль, кинематографическое освещение, разрешение 8K" содержит конкретные указания по объекту, обстановке, стилю и качеству, что позволяет получить максимально адаптированное и визуально потрясающее изображение.

Актуальность в компьютерном зрении

Несмотря на то, что она зародилась в области обработки естественного языка (NLP), оперативная инженерия становится все более актуальной в области компьютерного зрения (CV). Это обусловлено развитием мультимодальных моделей, способных одновременно обрабатывать текст и изображения. Такие модели, как CLIP и детекторы с открытым словарем, например YOLO-World, могут выполнять такие задачи, как обнаружение объектов на основе произвольных текстовых описаний. Для этих моделей создание эффективной текстовой подсказки (например, "обнаружить все "велосипеды", но игнорировать "мотоциклы"") является формой разработки подсказок, которая необходима для управления этими языковыми моделями зрения. Платформы, подобные Ultralytics HUB, облегчают взаимодействие с различными моделями, где определение задач через интерфейсы может воспользоваться принципами инженерии подсказок.

Оперативное проектирование в сравнении со смежными понятиями

Важно отличать проектирование подсказок от других концепций машинного обучения:

• Тонкая настройка: Это обновление весов модели путем продолжения процесса обучения на новом наборе данных. Оперативная инженерия, напротив, не изменяет саму модель, а скорее направляет поведение существующей модели в момент вывода.
• Оперативный тюнинг: Метод тонкой настройки, эффективный с точки зрения параметров (PEFT), предполагает обучение небольшого набора вкраплений "мягких подсказок", которые добавляются к вводимым данным. Он автоматизирует создание подсказок путем обучения, в то время как разработка подсказок - это ручной процесс создания текстовых "жестких подсказок".
• Побуждение к цепочке мыслей (CoT): CoT - это особая техника разработки подсказок, при которой к подсказке добавляется указание типа "думайте шаг за шагом". Это побуждает модель разбивать сложные проблемы на промежуточные шаги рассуждений, что часто приводит к более точным результатам, как подробно описано в оригинальной исследовательской работе Google AI.
• Цепочка подсказок: Эта техника предполагает разбиение сложной задачи на несколько последовательных подсказок, где выход одного шага является входом для следующего. Инженерия подсказок - это более широкая практика эффективного проектирования каждой из этих отдельных подсказок. Такие фреймворки, как LangChain, предназначены для организации таких цепочек.
• Поколение с дополненным извлечением (RAG): RAG - это система, которая улучшает подсказку, предварительно извлекая соответствующие данные из внешней базы знаний. Инженерия подсказок очень важна в системе RAG для правильной формулировки как начального поискового запроса, так и конечной подсказки, объединяющей вопрос пользователя и полученную информацию.