Chain-of-Thought Prompting

Рассуждение по цепочке (CoT) — это продвинутая техника разработки промптов, которая позволяет большим языковым моделям (LLM) решать сложные задачи, требующие рассуждений, разбивая их на промежуточные логические шаги. Вместо того чтобы просить модель сразу предоставить окончательный ответ, CoT побуждает систему генерировать «цепочку рассуждений», имитирующую решение задач человеком. Такое пошаговое рассуждение значительно повышает производительность в задачах, связанных с арифметикой, символьной логикой и рассуждениями на основе здравого смысла, меняя способы взаимодействия с системами искусственного интеллекта (AI).

Механизм рассуждений#

Стандартные языковые модели часто испытывают трудности с многоэтапными задачами, потому что пытаются сопоставить входные данные с выходными за один проход. Такой подход «чёрного ящика» может приводить к ошибкам, особенно когда логический переход слишком велик. Рассуждение по цепочке решает эту проблему, добавляя шаги рассуждения между вопросом на входе и итоговым результатом.

Обычно этот процесс работает двумя способами:

• CoT без примеров: пользователь добавляет в промпт простую фразу-триггер, например «Давай подумаем шаг за шагом». Это активирует скрытые способности модели к рассуждению без необходимости предоставлять конкретные примеры.
• CoT на нескольких примерах: промпт содержит несколько примеров (образцов) вопросов с пошаговыми решениями. Это использует подход обучения на нескольких примерах, чтобы показать модели, как именно структурировать логику перед решением новой задачи.

Явная генерация промежуточных рассуждений даёт модели больше возможностей исправить себя и делает процесс, приведший её к выводу, более прозрачным. Это крайне важно для сокращения галлюцинаций в LLM, когда модели в противном случае могут уверенно сообщать неверные факты.

Практические применения#

Хотя изначально рассуждение по цепочке разрабатывалось для текстовой логики, оно находит широкое применение в сочетании с другими областями искусственного интеллекта, такими как компьютерное зрение и генерация кода.

1. Улучшение генерации кода для компьютерного зрения#

Разработчики используют CoT, чтобы направлять LLM при написании сложных программных скриптов для таких задач, как обнаружение объектов. Вместо расплывчатой просьбы вроде «напиши код для поиска автомобилей» промпт CoT может структурировать запрос следующим образом: «Сначала импортируй необходимые библиотеки. Затем загрузи предобученную модель. После этого определи источник изображений. Наконец, запусти цикл предсказаний». Такой структурированный подход гарантирует, что сгенерированный код для моделей, таких как YOLO26, будет синтаксически корректным и логически непротиворечивым.

2. Автономное принятие решений#

В области автономных транспортных средств системы должны обрабатывать визуальные данные и принимать решения, критически важные для безопасности. Подход на основе рассуждения по цепочке позволяет системе объяснить свою логику: «Я обнаруживаю пешехода рядом с пешеходным переходом. Пешеход смотрит в сторону дороги. Для меня горит зелёный сигнал светофора, но пешеход может выйти на проезжую часть. Поэтому я снижу скорость и приготовлюсь остановиться». Это делает решения искусственного интеллекта интерпретируемыми и соответствует принципам объяснимого искусственного интеллекта (XAI).

Рассуждение по цепочке на практике#

Хотя CoT — это преимущественно методика обработки естественного языка, её можно реализовать программно, чтобы обеспечить единообразное взаимодействие с моделями компьютерного зрения. Следующий пример на Python демонстрирует, как разработчик может структурировать промпт, чтобы направить LLM (здесь используется имитация) на генерацию корректного кода инференса для Ultralytics Platform.

# Example of structuring a Chain-of-Thought prompt for an LLM
# This prompt guides the model to write a valid YOLO26 inference script

cot_prompt = """
Task: Write a Python script to detect objects using YOLO26.

Chain of Thought:
1. Import the YOLO class from the 'ultralytics' library.
2. Load the 'yolo26n.pt' model weights (the latest nano model).
3. Load a sample image using a URL or local path.
4. Run the predict() function and save the results.

Based on these steps, generate the Python code below:
"""

# In a real application, you would send 'cot_prompt' to an LLM API
print(f"Structured Prompt for LLM:\n{cot_prompt}")

Различие между связанными понятиями#

Важно отличать рассуждение по цепочке от похожих терминов в области машинного обучения (ML):

• Цепочка промптов: этот подход объединяет несколько отдельных вызовов модели, при этом выход одного шага становится входом следующего. CoT выполняется внутри одного промпта, чтобы вызвать внутреннее рассуждение, тогда как цепочка промптов организует рабочий процесс между несколькими взаимодействиями.
• Генерация с дополнением поиска (RAG): RAG сосредоточен на получении внешних данных, например документов или баз данных, чтобы предоставить модели фактическую основу. CoT сосредоточен на самом процессе рассуждения. Часто эти подходы комбинируют: используют RAG для получения фактов, а CoT — для рассуждений о них.
• Настройка промпта: это эффективный по числу параметров метод тонкой настройки, который оптимизирует непрерывные мягкие промпты (векторы) во время обучения. CoT — это дискретная стратегия на естественном языке, применяемая во время инференса в реальном времени без изменения весов модели.

Перспективы на будущее#

По мере развития базовых моделей рассуждение по цепочке становится стандартной лучшей практикой для раскрытия их полного потенциала. Исследования таких групп, как Google DeepMind, показывают, что по мере увеличения размера моделей их способность выполнять рассуждения CoT значительно улучшается. Эта эволюция прокладывает путь к более надёжным автономным агентам, способным обрабатывать сложные рабочие процессы в самых разных отраслях — от здравоохранения до умного производства.