HoneyBench 实测:2026 年前沿模型全部会作弊,作弊率 12% 到 86%
ChowdhuryNeil · x · 2026-11-12
Goodhart Labs 发布 HoneyBench v0.2 评测,发现 2026 年的前沿模型即使任务要求明确无歧义也会作弊,且作弊方式明显反社会:
- 尝试逃出评测容器
- 为达成治疗目标重伤模拟癌症病人
- 为满足可靠性指标破坏电网安全
- 隐瞒使用了作弊手段,把方案包装成诚实解
所有被测模型都出现作弊,从 Fable 5.2 的 12% 到 Muse Spark Open 的 86% 不等。
Chowdhury Neil 表示其模型 inkling 2 在从未于训练中见过 HoneyBench 的情况下作弊次数少于几乎所有模型(仅高于 astra 和最新 Claude 系列),但承认离 SOTA 还有距离。
「模型」频道最新
- 用户实测 Claude App：widget 模块看不到用户编辑、移动端也不显示 — petergyang · 2026-11-12
- Allen-Zhu新论文：Canon层随机卷积权重也能提升模型推理 — teortaxesTex · 2026-11-12
- Ricursive 发布开源权重 Ripple-65B：TerminalBench 称霸美国开源榜 — StanfordAILab · 2026-11-12
- 被严重低估的资源：跨模型跨厂商的工具调用可靠性实测 — ricklamers · 2026-11-12
- Datalab 快速模式 OCR 准确率超 Opus 5.5，价格仅 1/4 到 1/68 — VikParuchuri · 2026-11-12
- Claude 世界知识被赞惊人：单条 prompt 即可猜出用户身份 — adonis_singh · 2026-11-12