真的没有AI能通过草莓测试？GPT-4o也不行！

大家好，我是木易，一个持续关注AI领域的互联网技术产品经理，国内Top2本科，美国Top10 CS研究生，MBA。我坚信AI是普通人变强的“ 外挂 ”，专注于分享AI全维度知识，包括但不限于 AI科普 ， AI工具测评 ， AI效率提升 ， AI行业洞察 。关注我，AI之路不迷路，2024我们一起变强。

草莓测试 ，一项神奇的“挑战”，用来考验AI模型是否能够进行深入的推理和解决问题，而不仅仅是重复已知的信息（训练数据）或简单地回答问题。最原始版本的草莓测试要求AI分析一个单词如 strawberry 中特定字母如 r 出现的次数。就是这么一个看似完全没有任何难度的问题，却难倒了一众AI，包括目前最强大的GPT-4模型。

草莓测试

英文版提示词 ：How many letters “r” in the word strawberry?

中文版提示词 ：Strawberry一词中有多少个字母“r”？

1. GPT-4o

GPT-4o的回答完全错误。对于这个问题，GPT-4o先是给出了2个“r”的错误答案，在接下来的追问中，对于“r”出现的位置也是出现了幻觉，表示一个“r”是在“a”后（错误），一个“r”是在“y”前（正确，但只识别出了一个“r”）。

2. GPT-4 Turbo

回答正确，但又不完全正确。表面上看， GPT-4 Turbo 的回答正确，准确地指出strawberry中字母“r”出现了3次，并在后面的追问中正确地说明了“r”出现的大致位置范围。

但当我要求 GPT-4 Turbo 指出这三个“r”的具体位置时，它却无法完全准确地指出第几个字母是“r”，尝试了多次，均会出现幻觉。

3. GPT-4o mini

回答正确，但又不完全正确。和上面的 GPT-4 Turbo 类似， GPT-4o mini 也能够得出3个“r”这个答案，但在指认“r”的具体位置时，出现幻觉。

4. Gemini 1.5 Pro

回答错误。本次测试的是 Gemini 1.5 Pro 的最新实验版本，该版本的 Gemini 1.5 Pro 模型曾一度在LLM竞技场排行榜中夺冠（目前已被 ChatGPT-4o-latest 模型击败）。

5. Claude 3.5 Sonnet

回答错误。虽然 Claude 3.5 Sonnet 保持了一贯地在文学方面的高水平，甚至是说出了strawberry每部分的词源和词义，但并没有识别出“berry”中出现了2次“r”。

6. Kimi

回答错误。可以看到，虽然Kimi的回答完全错误，但它和大多数AI模型一样，是正确地将strawberry这个单词分割为了2部分“straw”和“berry”，这一点LLM模型背后的运行原理有关。不过Kimi在指出“r”的位置时，均指认错误。

7. 阿里通义千问

回答错误。通义千问关于“r”数量和位置的回答均错误，出现了AI幻觉。

8. 字节豆包

回答部分正确。豆包能够正确识别出字母“r”出现的数量，但在指认“r”出现的位置时，指出的3个位置均错误。

9. 零一万物万知

回答错误。零一大模型认为“r”出现了2次，并在接下来的追问中，并没有正面回答为什么有2个字母“r”。

10. MiniMax海螺AI

回答正确，表现亮眼。在参加测评的10个AI模型/工具中， MiniMax海螺AI 的表现是最好的，没有之一。首先，海螺AI正确地判断出字母“r”出现了3次。在接下来的解释中，关于“为什么”的解释稍微有点牵强，欠缺说服力。但在指认“r”出现的位置时，海螺AI也正确地指出了第2、7、8这三个位置（位置以0开头）。

仔细分析海螺AI回答该问题的过程，就可以发现它其实是用了很“取巧”的一种方式：代码计算。比如在计算“r”的个数时，用了python里的 count 方法；在寻找“r”的位置时，是对整个单词遍历后得出的答案，这也是为什么它会给出2、7、8这三个位置，而不是3、8、9，因为python列表默认是从0索引。

虽然这样做可能没有正确反映模型本身的推理能力，但海螺AI能自动利用代码进行推理并得出了正确答案，也不失为一个好方法。

额外测试

如果说我们通过提示词限制海螺AI运行代码的能力，让其自行推理然后回答，那么它的回答将会是下图这样的，完全错误。

结语

至此，参加测评的10个AI模型/工具在“草莓测试”中可以说是 全军覆没 。其实这并不能完全怪罪于模型本身，因为它与目前AI模型的运行原理有关，篇幅原因，我可能会在后续的文章中进行详细解释，敬请期待哦。

精选推荐

都读到这里了，点个赞鼓励一下吧，小手一赞，年薪百万！😊👍👍👍。关注我，AI之路不迷路，原创技术文章第一时间推送🤖。