ReAct Prompting
При промптинге ReAct LLM чередует этапы рассуждения с действиями, например поиском или вызовом инструмента, и анализирует каждый результат, прежде чем решить, что делать дальше.
Подсказка ReAct, сокращение от «рассуждение и действие», заставляет большую языковую модель (LLM) чередовать размышление о задаче, действие — например, поиск или вызов инструмента — и чтение полученного наблюдения, повторяя цикл до тех пор, пока модель не сможет ответить. Рассуждения планируют действия и отслеживают их, а действия извлекают факты извне модели, поэтому ответы опираются на найденные свидетельства, а не только на память. Сюньюй Яо и его коллеги из Принстонского университета и Google Research представили этот метод в статье «ReAct: объединение рассуждения и действия в языковых моделях», опубликованной на ICLR 2023. Всего с одним или двумя примерами в подсказке ReAct превзошла методы имитационного обучения и обучения с подкреплением, обученные на гораздо большем объеме данных: абсолютная успешность оказалась выше на 34 и 10 процентных пунктов в бытовых задачах ALFWorld и тесте онлайн-покупок WebShop соответственно. Современные ИИ-агенты, использующие инструменты, работают по тому же циклу.
Как работает ReAct#
Подсказка ReAct — это подсказка с несколькими примерами: в ней приводится несколько примеров траекторий, каждая из которых состоит из вопроса и чередующихся строк Thought, Action и Observation. Получив новый вопрос, модель формулирует мысль и действие, а затем останавливается. Код контроллера разбирает действие, запускает соответствующий инструмент, добавляет результат как следующее наблюдение и снова вызывает модель с расширенным транскриптом. Для ответов на вопросы в статье модели предоставили минимальный интерфейс Wikipedia с тремя действиями: search[entity] возвращает первые предложения страницы, lookup[string] возвращает следующее предложение на текущей странице, содержащее заданную строку, а finish[answer] завершает задачу.
Траектория ReAct#
В этом примере из подсказки статьи для HotpotQA — набора данных для ответов на вопросы, где нужно объединять факты с нескольких страниц Wikipedia, — показано, как цикл позволяет исправиться после первого поиска, в котором не оказалось ответа:
Question: What is the elevation range for the area that the eastern sector of the Colorado orogeny extends into?
Thought 1: I need to search Colorado orogeny, find the area that the eastern sector of the Colorado orogeny extends into, then find the elevation range of the area.
Action 1: Search[Colorado orogeny]
Observation 1: The Colorado orogeny was an episode of mountain building (an orogeny) in Colorado and surrounding areas.
Thought 2: It does not mention the eastern sector. So I need to look up eastern sector.
Action 2: Lookup[eastern sector]
Observation 2: (Result 1 / 1) The eastern sector extends into the High Plains and is called the Central Plains orogeny.
Thought 3: The eastern sector of Colorado orogeny extends into the High Plains. So I need to search High Plains and find its elevation range.
Action 3: Search[High Plains]
Observation 3: High Plains refers to one of two distinct land regions:
Thought 4: I need to instead search High Plains (United States).
Action 4: Search[High Plains (United States)]
Observation 4: The High Plains are a subregion of the Great Plains. From east to west, the High Plains rise in elevation from around 1,800 to 7,000 ft (550 to 2,130 m).
Thought 5: High Plains rise in elevation from around 1,800 to 7,000 ft, so the answer is 1,800 to 7,000 ft.
Action 5: Finish[1,800 to 7,000 ft]В Thought 2 модель замечает, что на странице нет нужного факта, и переключается на поиск по строке, а в Thought 4 разрешает неоднозначность результатов поиска. Фиксированная последовательность поисковых запросов не позволила бы выполнить эти две корректировки.
Результаты и ограничения#
Обоснование рассуждений в наблюдениях в первую очередь помогает сократить количество выдуманных фактов. В анализе ошибок на HotpotQA с PaLM-540B из-за галлюцинаций возникло 56% ошибок цепочки рассуждений, но ни одной ошибки ReAct; доля ложноположительных ответов для цепочки рассуждений составила 14%, а для ReAct — 6%. У цикла есть свой источник ошибок: бесполезные результаты поиска вызвали 23% ошибок ReAct, поскольку пустое наблюдение сбивает последующие рассуждения. На HotpotQA точность ReAct достигла 27,4% по метрике точного совпадения против 29,4% у цепочки рассуждений, а на задаче проверки фактов Fever ReAct лидировала с результатом 60,9% против 56,3%. Лучший результат на HotpotQA — 35,1% — удалось получить, объединив оба метода: если ReAct не отвечала за заданное число шагов, система переходила к цепочке рассуждений с самосогласованием.
ReAct в современных агентных системах#
Современные API LLM встраивают этап действия в модель с помощью вызова функций: вместо текстовой строки модель выдает структурированный вызов инструмента, приложение выполняет его и возвращает результат — цикл остается тем же чередованием мыслей, действий и наблюдений. Инструменты позволяют делать гораздо больше, чем искать: выполнять код, обращаться к базам данных и браузерам в агентах для управления компьютером, а также работать с сервисами через протокол контекста модели (MCP). В агентном RAG агент решает, когда и что извлекать, вместо того чтобы выполнять поиск один раз до генерации. Поскольку агент действует на основе прочитанного текста, системы ReAct подвержены инъекциям в подсказки через результаты работы инструментов. Поэтому разрешения инструментов ограничивают, а потенциально опасные действия часто выполняют в песочницах.
Функция Ask AI в Ultralytics Platform AutoTrain взаимодействует с инструментами таким образом: она запускает команды ul cloud из CLI Platform, чтобы находить наборы данных, запускать обучение, сравнивать обученные модели, экспортировать их или развертывать, а затем формирует ответ на основе результатов этих команд.
ReAct и родственные методы#
- Подсказки с цепочкой рассуждений: модель рассуждает за один проход, опираясь на собственные знания, и не может проверять факты посреди ответа. ReAct добавляет действия, которые позволяют получать новую информацию между шагами рассуждения.
- Цепочки подсказок: разработчик фиксирует в коде последовательность вызовов модели. В ReAct модель выбирает каждое следующее действие исходя из полученных наблюдений.
- Дерево мыслей (ToT): перебирает несколько вариантов рассуждения и возвращается к началу при неудачных вариантах, не взаимодействуя с внешней средой. ReAct следует по одному пути, но основывает рассуждения на наблюдениях.
- Модели рассуждения: обучаются перед ответом формулировать длинные рассуждения; во многих современных системах они также вызывают инструменты между шагами рассуждения, встраивая цикл ReAct непосредственно в модель.










