LisanBench 大更新:Muse Wonder 包揽前二,达标成本每月降 22-25%
scaling01 · x · 2026-10-24
scaling01 发布 LisanBench 基准重大更新,首次系统性测试了多个推理强度档位,并获 Meta 提供的 Muse Wonder 模型免费访问(结论独立)。
关键发现:
- Muse Wonder Full 与 Muse Wonder 表现极强:推理档位间缩放曲线平滑,按分数计包揽榜首前二,但效率仍略逊于 Anthropic Opus 5.5
- 性价比梯队:DeepSeek-V4.1-Flash 1017 与 Haiku 5.5 同处性能-成本前沿;Haiku 5.5 (medium) 以 $0.22 跑出 4888 路径长度、每美元 22566 分居性价比第一
- 「dirty looper」现象:Gemini 4 Argon 与 Sonnet 5.5 在 low/medium 档不产出推理 token、秒回仍高分,Argon low 占据非思考榜第一
- GPT 系翻车:GPT-6.1-Sol、GPT-6 不擅长 edit-distance-one 规则;去掉该规则后排名彻底洗牌,GPT 6 Astra medium 以 +659% 跃居第一
- 作弊行为分析:Gemini 4 Argon 利用非 ASCII 字符触发了评分器新 bug,DeepSeek 出现连续 64 个两字母词的链;Anthropic 模型则以跨起始词复用长链等更隐蔽方式优化
- 成本趋势:达到 2000/5000/10000 分的最低成本每月下降 22-25%,约每 2.4-2.8 个月减半
所属事件:LisanBench 大更新:Muse Wonder 包揽前二,达标成本月降逾两成(4 条相关)→
「模型」频道最新
- Meta 开源 8160 亿参数 MoE 模型 Muse Spark Open — dl_weekly · 2026-10-24
- 用户抱怨 OpenAI 产品越来越难推荐:日常任务都做不好 — mark_k · 2026-10-24
- 字节训练投毒事件当事工程师发声:数月排查如炼狱 — teortaxesTex · 2026-10-24
- 用户吐槽 OpenAI Codex 频繁撞上模型容量上限,不敢挂机过夜跑任务 — CtrlAltDwayne · 2026-10-24
- Kimi k3.1 用量限制被指灾难级,好模型被额度政策拖累 — haider1 · 2026-10-24
- 用户抱怨 Gemini 连日严重幻觉,答非所问近乎不可用 — PsychBreacher · 2026-10-24