「苏格拉底式推理」中的问题解决模式(用
和
分别表示(子)问题和结论
一般来说,在处理可以直接从推理中得出结论的问题时,会采用「演绎模式」(如 「让我们一步步思考」)来指导LLM直接得出结论。
对于更复杂的问题,首先要求LLM将问题转化为新问题,或分解为若干子问题。然后,通过递归方法,直到找到「原子问题」。
P vs. NP问题对话转换示例
在生成新问题或得出新结论时,通过「验证模式」,利用LLM自我批判能力进行验证和完善。
最后,「整合模式」要求 LLM 基于子问题的结果合成结论。
整个流程,研究人员鼓励LLM通过一系列对话,递归地继续上述过程,直至解决目标问题。
这篇论文,研究人员揭示了大模型能够在解决科学问题中大有可为,能够在得出复杂问题结论中细化攻坚的策略。
通过97论文对话引导,GPT-4展现出超人能力,完成了千禧数学难题全推理过程。