LLM论文笔记 19: On Limitations of the Transformer Architecture

• Arxiv日期：2024.2.26
• 机构：Columbia University / Google

关键词

• Transformer架构
• 幻觉问题
• 数学谜题

核心结论

1. Transformer 无法可靠地计算 函数组合问题

2. Transformer 的计算能力受限于 信息瓶颈

3. CoT 可以减少 Transformer 计算错误的概率，但无法根本性突破其计算能力的上限

CoT 需要生成指数级增长的 token。 CoT 只能通过增加大量的 token 来弥补 Transformer 的计算瓶颈，而不能从根本上提升 Transformer 的计算能力。

主要方法

核心目标是分析 Transformer 在计算能力上的根本性限制 ，特别是在 函数组合（Function Composition）、数学推理、逻辑推理 等任务上的表现。

通过 通信复杂度 （Communication Complexity） 和 计算复杂度（Computational Complexity） 的分析

参考：https://zhuanlan.zhihu.com/p/682254725

注：本系列不包括基础的知识点讲解，为笔记/大纲性质而非教程，用于论文知识点和思想和快速记忆和回顾，更多细节建议阅读论文原文