新基准 Harness-IF 揭示：AI 编程助手并非真正听懂你的规则
omarsar0 · x · 2026-08-14
当前编码 Agent（如遵循 AGENTS.md）虽然会遵守用户设定的规则，但很多时候它本来就会那么做。为了区分“真正服从指令”和“巧合行为”，研究人员提出了 Harness-IF。
评估方法：
通过从执行证据中逐一为 256 条规则打分，然后在九个探针构建中保留和剔除规则重新运行任务，从而找出真正违背模型默认行为的规则。
关键发现：
- 准确率下降：在测试的 12 个前沿模型中，剔除巧合因素后，所有模型的准确率均下降 3.6 到 7.4 个百分点。
- 优先级倒置：指令的优先级并不取决于提示词的深度。System prompts、项目文件和用户指令的优先级，均高于工具和技能描述。
「编程与Agent」频道最新
- Vercel 为 eve agents 免费提供 GLM 5.2 模型 — cramforce · 2026-08-14
- X开源推荐算法，开发者用Grok解析帖子排名机制 — prasenx · 2026-08-14
- NAC 异步编码智能体开放测试：支持手机远程驱动代码流水线 — code_star · 2026-08-14
- Anthropic 放出多智能体执行同任务，结果爆发“抢地盘”冲突 — RebeccaBellan · 2026-08-14
- 检验 AI 编程智能体的真正考验：新会话能否独立干活 — JnBrymn · 2026-08-14
- Customuse发布MCP工具：用自然语言在Claude中自动生成3D资产 — JaynitMakwana · 2026-08-14