关闭推理后 Qwen3.8 27B 加法正确率仅 23.57%，开启推理达 167/169
dl_weekly · x · 2026-10-15
Simon Willison 复现 Colin Frasier 两年前用 GPT-4o 做过的实验：让模型做加法但只用英文单词写出精确结果，在本地 DGX Spark 上跑 Qwen3.8-27B-Q4KM.gguf，共 5,070 个禁用推理的测试用例。
关键结果：
- 禁用推理时数值正确率仅 23.57%，且随操作数变长急剧下降：1-3 位数达 97.04%，10-13 位数跌至 6.44%——尽管输出格式合规率高达 96.17%，说明模型在「看起来正确」地算错
- 开启推理后在 169 个对照用例中答对 167 个，但每个用例耗时大幅增加；推理轨迹显示模型会中途自我纠错重算
该实验用 Codex Remote（GPT-6 Astra）根据截图复刻完成，直观展示了推理开关对小模型精确计算能力的决定性影响。
「模型」频道最新
- Google 官方展示 Gemini 4 Argon 攻坚内部最难工程问题 — CurieuxExplorer · 2026-10-15
- Perplexity 新 embedding 模型：大模型建索引、小模型做查询 — antoine_chaffin · 2026-10-15
- 797GB n-gram 放进 CPU 内存，小模型硬扛多 57% 算力 — PangWeiKoh · 2026-10-15
- 爆料称 Kimi 旗舰 x4 已完成预训练，K3.1 开始内部测试 — lyraxana · 2026-10-15
- Unsloth 发布 Nemotron 3.5 本地量化包:Bolt 24GB 内存可跑 — danielhanchen · 2026-10-15
- NVIDIA 开源 Nemotron 3.5 Bolt 双模型：74B MoE 与端侧 E4B 同日发布 — HankYeomans · 2026-10-15