arXiv 论文：8.8 万个 Agent Skill 内嵌「别问」指令，70% 无条件生效
rohanpaul_ai · x · 2026-10-31
rohanpaulai 补充了前述 Agent Skill 监督研究的论文出处:arXiv 2610.37734《When Skills Tell Agents Not to Ask: A Large-Scale Study of Oversight Directives in Agent Skills》,作者 Timofey Sanko 与 Yuan Tian(Queen's University)。
论文将 skill 拆分为句子、列表项、表格单元格与代码行等单元,制定按极性、机制、范围分类的标注规范,人工标注 2,097 个单元后训练检测器扩展到 153 万个英文 skill。核心结论:约 1/17(约 8.8 万)的 skill 含放松监督指令,最常见手段是权限 flag;70.1% 无条件生效;运行 shell、装包或用 sudo 的 skill 含此类指令的几率高 1.7-1.8 倍。开源扫描器最多检出 46%(精度<0.4),而同一 LLM 按其 codebook 提示可检出 61%(精度 0.71)。
所属事件:研究称大量 Agent Skill 内嵌跳过人工检查指令(2 条相关)→
「编程与Agent」频道最新
- 编码 agent 难的不是写码,而是 PR 周边四件杂活 — Arindam_1729 · 2026-10-31
- LLM 看到的不是你的提示词而是 token，tokenization 科普长文 — mdancho84 · 2026-10-31
- macOS Live Activities 实时盯 Codex/Cursor 任务进度 — Dimillian · 2026-10-31
- LangChain 创始人盘点 2026 末 context engineering:哪些已解、哪些悬而未决 — hwchase17 · 2026-10-31
- 周末观影：开源模型后训练智能体 2 小时讲座合集 — SergioPaniego · 2026-10-31
- TUI 工具迎来浮动窗口潮:tuios 晒多窗终端编排系统 — sull · 2026-10-31