Step-back prompting là kỹ thuật để cải thiện hiệu suất của các model LLM bằng cách hướng dẫn mô hình trước tiên xem xét một câu hỏi chung liên quan đến nhiệm vụ cần thực hiện và sau đó mới đưa câu trả lời cho câu hỏi chung đó vào một prompt tiếp theo cho nhiệm vụ cụ thể.
Nghe có vẻ khó hiểu ha, một cách nôm na thì thay vì prompt ra lệnh trực tiếp, đầu tiên sẽ đặt một câu hỏi mang tính phổ quát hoặc trừu tượng hơn để model trả lời, sau đó dùng chính câu trả lời đó của AI làm context để giải quyết vấn đề cụ thể mà người dùng muốn.
Chính vì vậy nên tên gọi của kỹ thuật này chính là Step Back, nghĩa là lùi lại nhìn toàn cảnh trước rồi mới đi sâu vào chi tiết. Mục đích của bước lùi này chính là để LLM kích hoạt kiến thức nền tảng hoặc các quy trình suy luận có liên quan trước khi giải quyết vấn đề cụ thể. Bằng cách khảo sát các nguyên tắc rộng hơn và căn bản hơn trong chủ đề đó, LLM có thể tạo ra các phản hồi chính xác và sâu sắc hơn.
Về mặt kỹ thuật, Step-back prompting sẽ khuyến khích model tư duy phản biện và áp dụng kiến thức của chúng theo những cách mới và sáng tạo hơn. Kỹ thuật này sẽ giúp giảm thiểu sự thiên vị trong kiến thức của LLM bằng cách "nén" nhiều kiến thức hơn từ các tham số của LLM so với khi prompt trực tiếp.
Step-back prompting sẽ phù hợp để:
- Cải thiện khả năng suy luận đối với các task phức tạp.
- Kích thích kiến thức rộng hơn
- Giảm bias thông qua việc tập trung vào nguyên tắc trước khi đi vào chi tiết.
Cấu trúc của kỹ thuật Step-back Prompting:
Nhìn chung / một cách tổng quát, X là gì?
Sử dụng X, giải quyết vấn đề Y.
Tình huống 1:
Nhìn chung, những yếu tố nào quyết định liệu một thành phố ven biển có bị ngập lụt trong cơn bão hay không?