8B 模型 81.6% 引质疑:实为 verifier 而非答案生成
yifeiwang77 · x · 2026-09-24
yifeiwang77 指出,某个 8B 模型在 DeepSWE (81.6%) 和 Terminal-Bench 2.1 (87.6%) 上的数字具有误导性:这些成绩是把模型用作对其他模型(如 fable)生成答案的 verifier/classifier,而非由该 8B 模型直接生成答案。他认为很难据此宣称「在 DeepSWE 上拿到 81.6%」。此前 @Giqnn6 发推质疑一个 8B 模型怎么可能拿到这样的分数而无人惊讶。
所属事件:8B 模型编码成绩遭质疑：实为验证器而非解题者(2 条相关)→
「模型」频道最新
- 爆料：Google 新模型阵容曝光，含 Flash 迭代与视频模型 — koltregaskes · 2026-11-11
- 同一段提示词实测：Fable 5.2 花时 3 倍费用 2 倍，换来导演级表达 — iamfakhrealam · 2026-11-11
- Krafton 开源 1.5B 端侧模型 Raon-1 nano,多项基准超同尺寸对手 — DimitrisPapail · 2026-11-11
- 打错字会让 LLM 不舒服？tokenization 引发有趣讨论 — menhguin · 2026-11-11
- MiniMax H3 开源百天:衍生模型 1472 个,下载破 1.48 亿次 — linoy_tsaban · 2026-11-11
- 美团 LongCat-2.5 登上 Hugging Face 趋势榜,MoE 多模态架构 — meituan-longcat · 2026-11-11