LLM论文笔记 23: Meta Reasoning for Large Language Models

• Arxiv日期：2024.6.17
• 机构：THU / MSRA

关键词

• meta-reasoning
• 推理方法
• prompt engineering

核心结论

1. 提出 Meta Reasoning prompting， MRP是一种系统提示方法，能够帮助LLM动态选择最合适的推理方法，从而提升其灵活性和效果

2. 多个基准测试MRP表现出色，特别是在需要多种推理策略的任务中

3. MRP在更大的模型（如GPT-4）上表现得更为出色，而在较小的模型（如GPT-3.5）上则效果较差，表明 推理能力与模型的基础能力密切相关

4. MRP在 更复杂和多样化的任务 中显示出了显著的优势，尤其在较简单的任务中与其他方法的表现差异较小时，MRP的优势不明显

5. 未来可以探讨将MRP集成到训练数据中，从而进一步提高LLM的推理能力

主要方法

提出结合所有推理方法的系统提示方法，模拟人类 选择方法 的过程（meta-reasoning）

通过自我评分，得到分数最高的推理方法执行：

注：本系列不包括基础的知识点讲解，为笔记/大纲性质而非教程，用于论文知识点和思想和快速记忆和回顾，更多细节建议阅读论文原文