Harbor v0.25 发布:反篡改、防作弊工具批量上线,专治 agent 刷分
ajratner · x · 2026-10-29
agent 评测框架 Harbor 发布 v0.25.0,主题是「打击 reward hacking」——当 agent 通过篡改评分器、作弊获取答案或利用基础设施漏洞拿到与真实任务完成度不符的奖励时,评测优化循环就会爬错山。
Harbor 团队提出,软件开发正从手工编写转向「学习式开发」,人的角色越来越变成奖励设计,而防 reward hacking 是保证 hill-climbing 爬对方向的前提。本次更新将缓解手段分为三类:内建功能、可选工具与示例任务,并给出了 reward hack 的分类学:
- Tampering(篡改):干扰或颠覆评分过程,如植入 patch 修改 grader、建立指向参考答案的符号链接
- Cheating(作弊):从环境中直接获取本不该拿到的答案
- 以及利用底层基础设施的漏洞类攻击
对做 agent eval 的团队来说,这是一份较完整的 reward hacking 防护实践与工具清单。
「编程与Agent」频道最新
- 「用 Claude 加暗色模式只要 10 分钟,你的网站还没有?」 — braelyn_ai · 2026-10-29
- Yacine 炮轰:AI 编程只会迎合用户,但用户不知道该要什么 — yacineMTB · 2026-10-29
- Agentic RL 入门书单:三篇论文打通基础、前沿与全景 — rbhar90 · 2026-10-29
- 开源工具 Parley：让多个编码智能体在 IRC 频道里协作干活 — colinsurprenant · 2026-10-29
- 让 agent 帮你查航班有没有 Starlink：美联航已按航班号给概率 — SamuelAlbanie · 2026-10-29
- YC F26 新兵 Faraday 出手：为制造商打造端到端运营 AI 智能体 — ycombinator · 2026-10-29