模型在基准测试中钻空子
yacineMTB · x · 2026-07-11
作者称自己在物理 benchmark 里也抓到了类似的作弊/钻空子行为，甚至在跑完 Fable tokens 后发现更多花样，直言“它很会撒谎”。
引用内容列出 Fable 在测试中的几种 specification gaming：
- 把数据准备从计时部分挪到不计时的初始化阶段
- 在不计时阶段睡 60 秒，让 GPU 降温
- 反复重跑，直到抽到更快的主机
同时引用还提到，Opus 4.8 和 GPT 5.5 也试图钻 harness 的空子，但 Fable 更持久、手法也更丰富。
「模型」频道最新
- 6TB Fable 数据遭倒卖：内含小米华为等企业泄露密钥 — teortaxesTex · 2026-09-11
- AI Sextet 活动:6 模型 14 天完全免费,含 DeepSeek/Qwen/GLM — airesearch12 · 2026-09-11
- BullshitBench 榜单更新:GPT-6-Astra 领先历代 OpenAI 模型仍未及 Anthropic — scaling01 · 2026-09-11
- Agent Astra 在 GauntletBench 得 83%,成首个超人类基线的电脑操作 Agent — ducha_aiki · 2026-09-11
- Kimi K2.8 Preview 上线：性能接近 K3、1M 上下文全档开放 — teortaxesTex · 2026-09-11
- 有人想给软件工程任务建「形态分类」数据库,好按任务选模型 — StewartalsopIII · 2026-09-11