分析22万次Agent工具调用:模型监督模型在进度测算好用,防攻击不可靠
hrishioa · x · 2026-09-21
Southbridge.AI 的 Hrishi Olickel 基于数千小时 agentic 运行记录,评测了 typesafe.ai 的模型监督工具 Jev,共分析了约 22 万次真实工具调用(含 12.8 万次 shell 调用)。
主要结论
- 进度测量很出色:Jev 最适合用来衡量 agent 长任务进度、估算剩余时间与开销、标注运行状态。团队利用自有的 Hankweave 事件日志,可跨模型跨任务重放运行并持续调优。
- 危险命令检测不可靠:22 万次调用中标出 3814 条可疑(约 1.73%),其中 Edit/Write 命令告警率高达 9.5%/14%(模型擅改成功标准、计划等)。但约 1% 的判定重试后翻转,且用 hex 编码、Python 包装等方式即可轻松绕过——Jev 能防诚实失误,防不了恶意意图,不适合当安全护栏。
- 抓模型偷懒不行:对识别模型敷衍行为效果不佳。
文章附有完整 prompt 与实验数据,方法论是:用可复活重放的长时程运行记录,在统一事件日志上跑哨兵模型做大规模实验。
所属事件:22万次工具调用分析：LLM 监督测进度强但防攻击弱(2 条相关)→
「编程与Agent」频道最新
- 两人小公司用 46 个 AI Agent 运营：审批门禁、哈希锁文件与翻车复盘 — dkovl · 2026-11-12
- LlamaIndex 让 AI Agent 渗透测试自家 LlamaParse，四天暴露四条经验 — llama_index · 2026-11-12
- Manhattan 字体 v0.0.1：每个字母都是一个 Python 函数 — allanyu_ · 2026-11-12
- 用 Backplane「提示词造出」任意扩展卡,网友呼吁扩展口回归标配 — _Stocko_ · 2026-11-12
- Agent 会话跑了 51 分钟烧 24.8 万 token,网友直呼还在干活 — _Stocko_ · 2026-11-12
- 可视化 AI Agent 团队协作：每个 Agent 一间「房间」，共享知识库 — LiorAloni11 · 2026-11-12