实测 Qwen 3.8 本地跑分：3-9% 题目因推理死循环降分
on_line187 · reddit · 2026-08-21
作者在双 RTX 3090 上本地运行 Qwen 3.8 27B Instruct (Q80 GGUF) 对 GSM8K、MATH-500、HumanEval 和 MBPP 进行了机械评分（无 LLM 评判）。
关键发现：
- 总体表现：GSM8K 96.7%，MATH-500 86.4%，HumanEval 95.5%，MBPP 80.0%。
- 推理死循环缺陷：3-9% 的题目触发了模型的“推理不终止”现象（耗尽 token 预算且无输出）。若排除这些失败案例，MATH-500 得分可从 86.4% 提升至约 94%，且死循环消耗了大量算力。
- 能力随难度下降：MATH-500 随难度等级提升呈单调下降，几何题表现最弱 (78.0%)。
- 数据污染测试：通过让模型补全题目并计算相似度，发现 HumanEval 存在显著的记忆效应（相似度 0.387，远超基线），MBPP 相对纯净。
「模型」频道最新
- Meta 开源 816B 参数 MoE 模型 Muse Spark Open,激活仅 42B — victormustar · 2026-10-16
- Baseten 首日上线 Muse Spark Open API:输入 $1.25/百万 token — baseten · 2026-10-16
- Anthropic 红队两年来首次“抹除”模型，GLM-5.3 拒答率从 90% 跌至 3% — cephaloform · 2026-10-16
- d1-ultra 登顶 Artificial Analysis 决策指数，成本仅约 30 美元/百万任务 — JosephJacks_ · 2026-10-16
- 用户喊话 Google：给新模型放宽用量、合并成一个 App — dreamwieber · 2026-10-16
- 用户吐槽:Gemini 网页版可用但编码工具中无权限,体验割裂 — dreamwieber · 2026-10-16