四篇校准论文复盘:模型置信度不足以放行 Agent 的危险操作

Xjjjjyn · reddit · 2026-11-17

「置信度高于 X 就让 agent 自主行动、低于 X 就问人类」是常见的 agent 安全建议,作者系统回看了四篇校准论文,结论是它站不住脚:

关键缺口:四篇论文都只测「答案对不对」,几乎全是 QA 基准,没有一个测过「在你自己的数据上,这步多步工具调用是不是正确动作」。TriviaQA 上校准过的分数说明不了「这 40 行该不该删」。

由此得出的设计取舍(作者自己的主张):

这与 OWASP LLM06:2025(Excessive Agency,高风险操作须人工批准)一致。作者坦承关联某商业 agent 产品、帖子经 AI 起草人工审校,并征集有人在工具调用正确性上实测过校准的案例。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →