苹果 GSM-Symbolic 论文：只改名字数字，SOTA 模型数学成绩就大跌

imjustnewatai · x · 2026-11-06

转推苹果的 GSM-Symbolic 论文讨论：研究团队把 GSM8K 小学数学题做微小表面改动（换人名、换数字），构建新 benchmark，多款 SOTA 模型成绩随即明显下滑，说明模型并非真正掌握逻辑推理，高分可能只是对基准的模式匹配。配图为论文 Table 1 的完整 8-shot 结果，覆盖 Gemma、Phi、Mistral、Llama3 及 GPT-4o/o1 系列等约 25 个模型的 GSM8K 与 GSM-Symbolic 对比成绩。发帖人补充展示了论文实际测试的模型清单。