实测打脸跑分:Qwen 3.8 27B 高分却常漏答多问提示
octagoncat23 · reddit · 2026-09-17
楼主表示越来越不信任 benchmark:Qwen 3.8 27B 在跑分上高于 Muse 30B,但他实测发现 Muse 在长上下文遵循和多步推理上呈指数级更好。
一个典型反例:在一条提示里问多个问题时,Qwen 约有一半时间只回答其中一个(通常是最难的那个),把大部分思考预算花在单一问题上——他猜测这是 benchmarkmaxxing(为刷分优化)的副产品。
楼主向社区征集:大家实测中哪些模型是被跑分热度埋没的「遗珠」?
「模型」频道最新
- Similarweb：Claude 升级页流量 9 月回升至 1760 万，逼近 5 月峰值 — firstadopter · 2026-11-02
- 开源 GLiNER-PII 单卡 550ms 抓出病历 13 项身份标识,仍漏医院名 — MaziyarPanahi · 2026-11-02
- 用户吐槽 OpenAI Dots 越用越臃肿,转投新工具 Muse 称体验干净透明 — Koala_Confused · 2026-11-02
- Fable 5.5 被曝一行代码一次通过生成动画，Anthropic 押注编程意外切入动画赛道 — Hesamation · 2026-11-02
- 一个 agent 目标连续跑了 4 天，烧掉 3 万赠额 token — CtrlAltDwayne · 2026-11-02
- 每日 AI 简报：Gemini 4 Carbon 疑现身 Arena，DeepSeek 开源编码 agent — testingcatalog · 2026-11-02