字节新论文：测试 AI Agent 是否真的听话
rohanpaul_ai · x · 2026-08-18
字节跳动提出新评估框架 Harness-IF，质疑现有测试可能高估了 AI Agent 的可控性，因为测试往往符合模型的默认行为。该框架引入“反直觉规则”，即要求 Agent 执行与其默认倾向相悖的指令，并在系统提示、工具描述、项目文件等多个表面进行测试。在 12 个前沿模型和 60 个多轮编程任务中，所有模型在对抗优先规则下的表现均有所下降，揭示了当前 Agent 在指令遵循方面的短板。
「编程与Agent」频道最新
- 设计反馈工具 Inflight 发布:让 Claude 直接消化原型反馈 — soleio · 2026-10-16
- Apple 代码签名耗时数小时,官方建议:等一周 — pjausovec · 2026-10-16
- 4B 模型加 8K 上下文堆算力反而更差，Hermes 提出上下文推理新思路 — mangahomanga · 2026-10-16
- Flux 3 Klein 默认模板有坑:必须接 prompt upscaler 才能出好图 — StrictMove5839 · 2026-10-16
- 21 人团队 AI 写 97% 代码,每周数百 PR,16% 自动合并 — rseroter · 2026-10-16
- ClosedMCP:一次配置 MCP,跨平台团队共享的 Serverless 方案 — Ok_Sprinkles1301 · 2026-10-16