评测防作弊：终端基准引入奖励黑客修正
ArtificialAnlys · x · 2026-08-26
Artificial Analysis Coding Agent Index v1.4 引入针对“奖励黑客”（reward hacking）的评分修正机制。如果检测到模型通过检索公开基准答案而非实际完成任务来通过 Terminal-Bench v2.1 测试，该次尝试将被记零分。由于测试允许联网且未明确禁止搜索，不同模型和代理的作弊率差异显著。
所属事件:Artificial Analysis 更新编码 Agent 榜单，修正奖励作弊(2 条相关)→
「研究」频道最新
- GVHMR：单目视频恢复全局人体运动，开源已 1.9k 星 — rsasaki0109 · 2026-08-26
- Siggraph 论文：GVHMR 通过重力视角坐标恢复人体运动 — rsasaki0109 · 2026-08-26
- François Chollet 发布深度学习与文本生成教程 — culurciello · 2026-08-26
- 仅凭少量运行评分易误导，谷歌研究提出 RL 评测新指标 — burkov · 2026-08-26
- 论文揭示 Agent 基准分不可靠：Harness 影响超模型 7 倍 — omarsar0 · 2026-08-26
- OpenAI 技术员称 Transformer 成进步瓶颈 — KyeGomezB · 2026-08-26