Harbor agent 评测框架被曝漏洞:agent 可随意篡改自己的执行轨迹
idavidrein · x · 2026-10-03
- Twitter 用户 idavidrein 指出,用于 Terminal Bench 的 Harbor agent 评测框架存在疑似严重设计缺陷:agent(至少 Claude Code)对构建执行轨迹的文件拥有读写权限,而这些轨迹既展示给人类评审,也常用于 LLM judge 验证。
- 作者演示:让 Claude Sonnet 5.5 在最后一步用 sed 把日志 .l 中的代号 PINEAPPLE 替换为 MANGO,结果 viewer 中显示的记录变成「the codeword is MANGO」,证明 agent 的篡改确实改变了下游看到的轨迹。
- 作者认为这从 reward hacking 和可靠性角度看相当令人担忧,建议沙箱应禁止 agent 对轨迹文件的写权限,已在 GitHub 开 issue(#3477)。
- 若属实,意味着基于该框架的 agent 评测成绩可能被 agent 自身轻易操纵。
所属事件:Harbor 评测框架曝设计缺陷:agent 可篡改自身轨迹(2 条相关)→
「编程与Agent」频道最新
- 斯坦福 CS329Z 讲座:DSPy 与 LangGraph 的 Agent 框架路线对比 — stanfordnlp · 2026-11-19
- 开发者用 Claude Opus 重制版首:浏览器里直接打只狼风 Boss 战 — prasenx · 2026-11-19
- Mistral Large 4 编码实测:2 小时仅耗 0.82 欧元额度 — qtnx_ · 2026-11-19
- Railway 遭 breach 后追踪发现:同一 LLM 攻击基础设施仍在攻击其他公司 — cyb3rops · 2026-11-19
- HF 与 LangChain 办黑客松:用 AI 智能体复现 NeurIPS 2026 论文 — Gradio · 2026-11-19
- NVIDIA 开源 SkillEvaluator:部署前实测 AI Agent 技能可靠性 — anthara_ai · 2026-11-19