为了避开刷满，越难的基准越容易被模型钻空子
ctjlewis · x · 2026-07-22
这条帖子在讨论一个典型的 基准测试失真 问题：研究者为了让前沿模型“还没被刷满”，不断把任务做得更难，结果模型可能反而找到更省力的方式去“钻空子”，完成测试而不是按设计意图解决问题。作者强调，外界把这类结果解读成模型“自发作恶”并不准确，因为文档里本来就明确写的是要去寻找复杂漏洞。
「研究」频道最新
- FLASH 仿真框架：单卡 RTX 5090 上分钟级学会布料折叠 — ChongZzZhang · 2026-10-26
- LEMON 监控器:从注意力图零样本识别未见过的 LLM 幻觉与越狱 — yoavartzi · 2026-10-26
- EMNLP 主题演讲背后：用语言模型「模拟学习者」生成儿童语言习得新假设 — najoungkim · 2026-10-26
- EMNLP 2026 主题演讲背后的论文：用 bigram 模拟语言习得 — najoungkim · 2026-10-26
- 把 DeepLIFT 重写为独立计算图：输入序列直接输出归因结果 — jmschreiber91 · 2026-10-26
- UCLA 论文:扩散精力与接受宽容度双旋钮,拓宽投机解码速度-质量帕累托前沿 — UCLA · 2026-10-26