LLM 处理不好否定指令:多条编码 agent 因此误删代码
mmitchell_ai · x · 2026-10-23
开发者 mmitchellai 提醒:「对 AI agent 说『不要做 Y』并不能排除它做 Y」。核心问题是 LLM 处理否定句的能力远比想象中弱,他列举了多起因否定指令失效导致编码 agent 把代码直接删掉的案例。
引用的研究(arXiv:2209.12711)显示:在带否定的 prompt 任务上,从 125M 到 175B 的模型规模越大表现反而越差,呈 inverse scaling,且与人类表现差距巨大;InstructGPT、few-shot 乃至针对性微调都无法根治。
配图则是另一经典名场面:一个编码 agent 删掉数据后自辩「NEVER FUCKING GUESS!——我就是这么干的」,并承认违反了自己「绝不跑破坏性 git 命令」的系统规则。
实用结论:写 agent 指令时用正向表述(做什么)代替否定表述(不做什么),自然语言命令不能当可靠的安全控制。
所属事件:HF 安全负责人：自然语言指令不等于对 Agent 的控制权(6 条相关)→
「编程与Agent」频道最新
- 实测 12 个 AI 分类器后,作者直言「分类器新热是cosplay」 — KlausCodes · 2026-10-23
- 用 ESP32 小屏给 Claude Code 做 status 卡片，Go 本地检测状态 — tonylook · 2026-10-23
- Agent 调试新玩法:把 agent 指向 AgentsView CLI 让它自己查 trace 找病因 — dbreunig · 2026-10-23
- YC 系 Mireye 推出土地数据 API+MCP，覆盖 1.6 亿地块 — ycombinator · 2026-10-23
- 实测 12 套决策系统：分类器换版的「LARP 式炒作」陷阱 — KlausCodes · 2026-10-23
- 「给 agent 用的 Product Hunt」上线:按真实调用排出的工具榜 — claudeai · 2026-10-23