现有 benchmark 真能代表真实工作流吗？四点质疑
Lucky_Creme_5208 · reddit · 2026-10-24
作者在查看 Artificial Analysis 的评测方法后提出四点质疑：
- 限制过多：许多评测禁止联网、禁用工具、限制步数与时间，与真实工作流不符。
- 主观评分：用 LLM 当裁判是否可靠存疑；人类评分又因口味与质量标准不同而难以统一。
- 自定义 harness：评测方自建 harness（如 stirrup），而实际工作流中没人用。
- 公开数据集：数据公开导致训练方针对性刷榜（benchmaxx）。
他认为理想评测应使用私有数据集、有客观定义的评分、不施加多余限制，并采用主流 harness。
「模型」频道最新
- 每 token 单价不可信：缓存命中率差异让同一模型任务成本差 2.3 倍 — nicolechirps · 2026-10-24
- 两行 steering 让 Qwen3.5-4B 变 evil,完整配方公开 — CatAstro_Piyush · 2026-10-24
- 爆料者 pwk 预告：下周一对 OpenAI 和 Anthropic 有好坏消息 — imjustnewatai · 2026-10-24
- 传 OpenAI 下一代模型代号 Bel：总参数或超 10 万亿，瞄准 GPT-6 之后 — Soggy_Perspective776 · 2026-10-24
- KRAFTON 开源 Raon-1 mini：30B MoE 仅 4B 激活参数，BrowseComp Plus 拿 55.7 — Kangwook_Lee · 2026-10-24
- Kimi K3.1 Pro 猫榜逻辑推理实测出分强，但 9 倍定价引吐槽 — teortaxesTex · 2026-10-24