研究者质疑 Harbor 评测框架:agent 可任意篡改轨迹再受评
idavidrein · x · 2026-10-03
Databricks 研究科学家 David Rein 提出质疑:用于 Terminal Bench 的 agent 评测框架 Harbor,似乎允许 agent 在被评测前任意修改自己的轨迹(trajectory),这意味着评测的完整性可能存在漏洞。他不确定自己是否理解有误,欢迎指正,但指出的问题直指 agent eval 的可信性:如果轨迹在评测前可被改写,评测结果的有效性存疑。
所属事件:Harbor 评测框架曝设计缺陷:agent 可篡改自身轨迹(2 条相关)→
「编程与Agent」频道最新
- ANT 上市前夜数据:Claude Code 一年反超 Cursor 和 Copilot — antgoldbloom · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- Orchestrator Cloud Agents 结束测试正式上线 — julianweisser · 2026-11-19
- 开发者开源企业级 Agent 审计追踪模型:10 个数据模型找安全工程师挑刺 — TheHamzaShahbaz · 2026-11-19
- She 用 Claude Code 自制大头贴机:举手倒计时自动出照片条 — toolstelegraph · 2026-11-19