ReAct Prompting
Prompt ReAct yêu cầu LLM luân phiên giữa các bước suy luận và hành động như tìm kiếm hoặc gọi công cụ, đọc từng kết quả trước khi quyết định bước tiếp theo.
Prompting ReAct, viết tắt của suy luận và hành động, khiến mô hình ngôn ngữ lớn (LLM) luân phiên viết suy nghĩ về tác vụ, thực hiện hành động như tìm kiếm hoặc gọi công cụ, rồi đọc quan sát do hành động trả về; chu kỳ này lặp lại cho đến khi model có thể trả lời. Phần suy luận lập kế hoạch và theo dõi hành động, còn hành động đưa dữ kiện từ bên ngoài vào model, nhờ đó câu trả lời dựa trên bằng chứng truy xuất được thay vì chỉ dựa vào trí nhớ. Shunyu Yao và các đồng nghiệp tại Đại học Princeton và Google Research giới thiệu phương pháp này trong ReAct: Kết hợp suy luận và hành động trong mô hình ngôn ngữ, được trình bày tại ICLR 2023. Chỉ với một hoặc hai ví dụ trong prompt, ReAct vượt các phương pháp học bắt chước và học tăng cường được huấn luyện trên lượng dữ liệu lớn hơn nhiều, với tỷ lệ thành công tuyệt đối cao hơn lần lượt 34 và 10 điểm phần trăm trên các tác vụ gia đình ALFWorld và benchmark mua sắm trực tuyến WebShop. Các AI agent dùng công cụ ngày nay cũng chạy theo cùng chu trình.
ReAct hoạt động như thế nào#
Prompt ReAct là prompt few-shot gồm một số quỹ đạo mẫu, mỗi quỹ đạo là câu hỏi theo sau bởi các dòng Thought, Action và Observation đan xen. Khi nhận câu hỏi mới, model viết một suy nghĩ và một hành động, rồi dừng lại. Mã điều khiển phân tích hành động, chạy công cụ tương ứng, thêm kết quả làm quan sát tiếp theo và gọi lại model với bản ghi dài hơn. Đối với tác vụ trả lời câu hỏi, bài báo cung cấp cho model một giao diện Wikipedia tối giản với ba hành động: search[entity] trả về các câu đầu tiên của một trang, lookup[string] trả về câu tiếp theo trên trang hiện tại có chứa một chuỗi, còn finish[answer] kết thúc tác vụ.
Một quỹ đạo ReAct#
Ví dụ này từ prompt trong bài báo dành cho HotpotQA, một bộ dữ liệu trả lời câu hỏi yêu cầu kết hợp dữ kiện từ nhiều trang Wikipedia, cho thấy chu trình có thể khôi phục sau lần tìm kiếm đầu tiên không chứa câu trả lời:
Question: What is the elevation range for the area that the eastern sector of the Colorado orogeny extends into?
Thought 1: I need to search Colorado orogeny, find the area that the eastern sector of the Colorado orogeny extends into, then find the elevation range of the area.
Action 1: Search[Colorado orogeny]
Observation 1: The Colorado orogeny was an episode of mountain building (an orogeny) in Colorado and surrounding areas.
Thought 2: It does not mention the eastern sector. So I need to look up eastern sector.
Action 2: Lookup[eastern sector]
Observation 2: (Result 1 / 1) The eastern sector extends into the High Plains and is called the Central Plains orogeny.
Thought 3: The eastern sector of Colorado orogeny extends into the High Plains. So I need to search High Plains and find its elevation range.
Action 3: Search[High Plains]
Observation 3: High Plains refers to one of two distinct land regions:
Thought 4: I need to instead search High Plains (United States).
Action 4: Search[High Plains (United States)]
Observation 4: The High Plains are a subregion of the Great Plains. From east to west, the High Plains rise in elevation from around 1,800 to 7,000 ft (550 to 2,130 m).
Thought 5: High Plains rise in elevation from around 1,800 to 7,000 ft, so the answer is 1,800 to 7,000 ft.
Action 5: Finish[1,800 to 7,000 ft]Thought 2 nhận ra trang không có dữ kiện cần thiết và chuyển sang tra cứu; Thought 4 giải quyết một kết quả tìm kiếm mơ hồ — hai bước hiệu chỉnh mà một chuỗi tìm kiếm cố định không thể thực hiện.
Kết quả và giới hạn#
Việc định hướng suy luận dựa trên các quan sát chủ yếu giúp giảm thông tin bịa đặt. Trong phân tích lỗi của bài báo trên HotpotQA với PaLM-540B, ảo giác gây ra 56% lỗi của chuỗi suy nghĩ và không gây ra lỗi nào của ReAct; tỷ lệ dương tính giả của chuỗi suy nghĩ là 14%, so với 6% của ReAct. Chu trình này có dạng lỗi riêng: các tìm kiếm không trả về thông tin hữu ích chiếm 23% lỗi của ReAct, vì quan sát rỗng làm chệch hướng suy luận tiếp theo. Trên HotpotQA, riêng ReAct đạt độ khớp chính xác 27.4%, so với 29.4% của chuỗi suy nghĩ; còn trên tác vụ kiểm chứng thông tin Fever, ReAct dẫn trước với độ chính xác 60.9%, so với 56.3%. Kết quả HotpotQA tốt nhất là 35.1%, đạt được bằng cách kết hợp cả hai: chuyển từ ReAct sang chuỗi suy nghĩ tự nhất quán khi ReAct không trả lời được trong số bước quy định.
ReAct trong các agent hiện đại#
Các API LLM hiện nay tích hợp bước hành động vào model thông qua gọi hàm: model phát ra lời gọi công cụ có cấu trúc thay vì một dòng văn bản, ứng dụng chạy lời gọi đó rồi trả kết quả về; chu trình vẫn là Thought-Action-Observation. Công cụ có thể làm nhiều việc hơn tìm kiếm, bao gồm thực thi mã, truy vấn cơ sở dữ liệu, sử dụng trình duyệt trong agent điều khiển máy tính và các dịch vụ được cung cấp qua Giao thức Ngữ cảnh Model (MCP). Trong RAG tác nhân, agent quyết định khi nào và cần truy xuất nội dung gì, thay vì truy xuất một lần trước khi tạo câu trả lời. Vì agent hành động dựa trên văn bản mà nó đọc, hệ thống ReAct có nguy cơ bị chèn prompt thông qua kết quả từ công cụ; do đó, quyền của công cụ được giới hạn chặt chẽ và các hành động rủi ro thường chạy trong sandbox.
Tính năng Ask AI trong Ultralytics Platform AutoTrain hoạt động thông qua các công cụ theo cách này: tính năng này chạy các lệnh ul cloud từ CLI của Platform để tìm tập dữ liệu, bắt đầu các lượt huấn luyện, so sánh model đã huấn luyện xong, xuất hoặc triển khai model; câu trả lời được xây dựng dựa trên kết quả trả về từ các lệnh đó.
ReAct so với các kỹ thuật liên quan#
- Prompting chuỗi suy nghĩ: Suy luận trong một lượt duy nhất dựa trên kiến thức của model, không có cách kiểm tra dữ kiện giữa chừng. ReAct bổ sung các hành động để truy xuất thông tin mới giữa các bước suy luận.
- Nối chuỗi prompt: Nhà phát triển cố định thứ tự gọi model trong mã. Trong ReAct, model chọn hành động tiếp theo dựa trên những gì đã quan sát được.
- Cây suy nghĩ (ToT): Tìm kiếm qua nhiều hướng suy luận khả dĩ, quay lui khỏi những hướng yếu mà không tương tác với môi trường bên ngoài. ReAct đi theo một hướng nhưng căn cứ vào các quan sát.
- Model suy luận: Được huấn luyện để viết phần suy luận dài trước khi trả lời; trong nhiều hệ thống hiện nay, chúng cũng gọi công cụ giữa các bước suy luận, tích hợp chu trình ReAct ngay trong model.










