研究者质疑 Harbor 评测框架:agent 可任意篡改轨迹再受评
idavidrein · x · 2026-10-03
Databricks 研究科学家 David Rein 提出质疑:用于 Terminal Bench 的 agent 评测框架 Harbor,似乎允许 agent 在被评测前任意修改自己的轨迹(trajectory),这意味着评测的完整性可能存在漏洞。他不确定自己是否理解有误,欢迎指正,但指出的问题直指 agent eval 的可信性:如果轨迹在评测前可被改写,评测结果的有效性存疑。
所属事件:Harbor 评测框架曝设计缺陷：agent 可篡改自身轨迹(2 条相关)→
「编程与Agent」频道最新
- 开发者观察:vibe coding 兴起后多个大项目正重写为 Rust — evilsocket · 2026-10-03
- 用户吐槽 Dots 体验糟糕:权限拦截频发、转本地 Codex 还吃自己的额度 — brandon_galang · 2026-10-03
- foo[count:-count] 的坑：count 为 0 时 -0 导致切片返回空数组 — theshawwn · 2026-10-03
- 烦透了 agent 的 AI 腔?他做了个发送前强制人工审批的队列工具 — paulofilip3 · 2026-10-03
- 普林斯顿开源 Choir 协议:多智能体协同做大规模数学形式化 — burny_tech · 2026-10-03
- 双 RTX 3090 本地跑 256k 上下文模型,实战数月后求升级建议 — knighty1981 · 2026-10-03