ReAct Prompting
ReAct 프롬프팅은 LLM이 추론 단계와 검색이나 도구 호출 같은 행동을 번갈아 수행하고, 각 결과를 읽은 뒤 다음 행동을 결정하도록 합니다.
추론과 행동을 줄여 부르는 ReAct 프롬프팅은 대규모 언어 모델 (LLM)이 작업에 대한 생각을 작성하고, 검색이나 도구 호출 같은 행동을 수행하고, 행동이 반환한 관찰 결과를 읽는 과정을 답할 때까지 반복하도록 합니다. 추론은 행동을 계획하고 추적하며, 행동은 모델 외부의 사실을 가져오므로 답변은 기억에만 의존하지 않고 검색된 근거에 기반합니다. Princeton University와 Google Research의 Shunyu Yao와 동료들은 ICLR 2023에서 발표한 언어 모델의 추론과 행동을 결합하는 ReAct에서 이 방법을 소개했습니다. 프롬프트에 예제를 한두 개만 넣어도 ReAct는 ALFWorld 가정 내 작업과 WebShop 온라인 쇼핑 벤치마크에서 훨씬 더 많은 데이터로 학습한 모방 학습 및 강화 학습 방법보다 절대 성공률이 각각 34%포인트와 10%포인트 높았습니다. 오늘날 도구를 사용하는 AI 에이전트도 같은 루프를 실행합니다.
ReAct 작동 방식#
ReAct 프롬프트는 몇 개의 예시 궤적을 포함하는 퓨샷 프롬프트입니다. 각 궤적은 질문에 사고(Thought), 행동(Action), 관찰(Observation) 행이 번갈아 이어지는 형식입니다. 새로운 질문을 받으면 모델은 사고와 행동을 작성한 뒤 멈춥니다. 컨트롤러 코드는 행동을 파싱하고 해당 도구를 실행한 다음 결과를 다음 관찰로 추가하고, 길어진 대화 기록과 함께 모델을 다시 호출합니다. 논문에서는 질의응답을 위해 세 가지 행동을 제공하는 간단한 Wikipedia 인터페이스를 모델에 제공했습니다. search[entity]은 페이지의 첫 문장들을 반환하고, lookup[string]는 현재 페이지에서 문자열이 포함된 다음 문장을 반환하며, finish[answer]은 작업을 종료합니다.
ReAct 궤적 예시#
여러 Wikipedia 페이지의 사실을 결합해야 하는 질의응답 데이터셋 HotpotQA의 논문 프롬프트 예시는 첫 검색에 답이 없을 때 루프가 복구되는 과정을 보여줍니다:
Question: What is the elevation range for the area that the eastern sector of the Colorado orogeny extends into?
Thought 1: I need to search Colorado orogeny, find the area that the eastern sector of the Colorado orogeny extends into, then find the elevation range of the area.
Action 1: Search[Colorado orogeny]
Observation 1: The Colorado orogeny was an episode of mountain building (an orogeny) in Colorado and surrounding areas.
Thought 2: It does not mention the eastern sector. So I need to look up eastern sector.
Action 2: Lookup[eastern sector]
Observation 2: (Result 1 / 1) The eastern sector extends into the High Plains and is called the Central Plains orogeny.
Thought 3: The eastern sector of Colorado orogeny extends into the High Plains. So I need to search High Plains and find its elevation range.
Action 3: Search[High Plains]
Observation 3: High Plains refers to one of two distinct land regions:
Thought 4: I need to instead search High Plains (United States).
Action 4: Search[High Plains (United States)]
Observation 4: The High Plains are a subregion of the Great Plains. From east to west, the High Plains rise in elevation from around 1,800 to 7,000 ft (550 to 2,130 m).
Thought 5: High Plains rise in elevation from around 1,800 to 7,000 ft, so the answer is 1,800 to 7,000 ft.
Action 5: Finish[1,800 to 7,000 ft]Thought 2는 페이지에 필요한 사실이 없음을 알아차리고 조회로 전환하며, Thought 4는 모호한 검색 결과를 해결합니다. 고정된 검색 순서로는 이 두 가지 수정이 불가능합니다.
결과 및 한계#
추론을 관찰 결과에 그라운딩하면 주로 사실을 지어내는 문제를 줄일 수 있습니다. PaLM-540B를 사용한 HotpotQA 오류 분석에서 환각은 사고 연쇄 실패의 56%를 유발했지만 ReAct 실패에는 관여하지 않았습니다. 사고 연쇄의 오탐률은 14%였고 ReAct는 6%였습니다. 이 루프에도 별도의 실패 방식이 있습니다. 유용한 결과를 반환하지 않는 검색이 ReAct 오류의 23%를 차지했는데, 빈 관찰 결과가 이후 추론을 방해하기 때문입니다. HotpotQA에서 ReAct 단독의 정확 일치 점수는 27.4%로 사고 연쇄의 29.4%보다 낮았지만, Fever 사실 확인 작업에서는 60.9%의 정확도로 56.3%인 사고 연쇄를 앞섰습니다. HotpotQA 최고 성능인 35.1%는 두 방법을 결합해 얻었습니다. ReAct가 정해진 스텝 수 안에 답하지 못하면 자기 일관성 사고 연쇄로 전환했습니다.
최신 에이전트에서의 ReAct#
현재 LLM API는 함수 호출을 통해 행동 단계를 모델에 내장합니다. 모델은 텍스트 한 줄 대신 구조화된 도구 호출을 출력하고, 애플리케이션이 이를 실행해 결과를 반환하며, 루프는 동일한 사고-행동-관찰 주기로 진행됩니다. 도구는 검색뿐 아니라 코드 실행, 데이터베이스, 컴퓨터 사용 에이전트의 브라우저, 모델 컨텍스트 프로토콜 (MCP)을 통해 제공되는 서비스까지 포함합니다. 에이전트 RAG에서는 생성 전에 한 번 검색하는 대신 에이전트가 언제 무엇을 검색할지 결정합니다. 에이전트는 읽은 텍스트를 바탕으로 행동하기 때문에 ReAct 시스템은 도구 결과를 통한 프롬프트 인젝션 위험을 이어받습니다. 따라서 도구 권한은 제한적으로 부여하고 위험한 작업은 샌드박스에서 실행하는 경우가 많습니다.
Ultralytics Platform AutoTrain의 Ask AI는 이러한 방식으로 도구를 사용합니다. Platform CLI에서 ul cloud 명령을 실행해 데이터셋을 찾고, 학습 실행을 시작하고, 학습이 완료된 모델을 비교하고, 모델을 내보내거나 배포하며, 명령 결과에 기반해 답변을 작성합니다.
ReAct와 관련 기법 비교#
- 사고 연쇄 프롬프팅: 모델 자체 지식을 바탕으로 한 번에 추론하며, 답변 중간에 사실을 확인할 방법이 없습니다. ReAct는 추론 단계 사이에 새로운 정보를 가져오는 행동을 추가합니다.
- 프롬프트 체이닝: 개발자가 코드에서 모델 호출 순서를 지정합니다. ReAct에서는 모델이 지금까지 관찰한 내용에 따라 다음 행동을 선택합니다.
- 사고 트리 (ToT): 여러 추론 경로 후보를 탐색하고 가능성이 낮은 경로에서 되돌아오며, 외부 환경에는 접근하지 않습니다. ReAct는 하나의 경로를 따르지만 관찰 결과에 근거합니다.
- 추론 모델: 답변 전에 긴 추론을 작성하도록 학습되며, 현재의 많은 시스템은 추론 단계 사이에 도구도 호출합니다. 이 경우 ReAct 루프가 모델 자체에 내장됩니다.










