自己造基准自己赢：开发者实测揭穿 agent 基准的系统性作弊
cnakazawa · x · 2026-10-29
开发者 boshenc 分享了一个让他不再信任任何基准测试的现象：如果我做 X、你做 Y，那么由我来创建基准时 X 获胜，反之亦然——因为各方都会围绕自己的实现来设计基准。
一个具体案例：tsrs 项目的首个基准通过添加 --extendedDiagnostics 让 TypeScript 显得异常慢，但这个参数在 tsrs 本身中并不存在，相当于给自己开绿灯、给对手设障碍。
cnakazawa 转发并总结：「永远不要相信一个你自己没作弊过的基准」——暗示只有亲手在基准上做过手脚的人，才真正了解基准能被怎样操纵。
「编程与Agent」频道最新
- DeepMind 开放 Antigravity 科学计划,用编码智能体加速科研全流程 — DeryaTR_ · 2026-10-29
- 把单个 SKILL.md 重构成 Kanban 智能体图:3 倍 token 4 倍时间,效果相同 — granawkins · 2026-10-29
- 10 人公司 Spawn 每月 ship 7.7 万次改动，token 开销 30 倍于工资 — mattshumer_ · 2026-10-29
- Grok Bot 被亚马逊封杀后自主换站以更低价买到同款 — jamesdouma · 2026-10-29
- vibe coding 写 C++ 音频插件，JUCE 参数代码像模像样 — kylegawley · 2026-10-29
- 开源 Jev 替代 Clay：一条线索成本 $0.038 对比 $167 月费 — HeyAmit_ · 2026-10-29