四篇校准论文梳理:模型置信度不宜作为 agent 高危操作的放行门槛

Xjjjjyn · reddit · 2026-11-17

针对「置信度高于 X 就执行、低于 X 就问人」这一常见 agent 安全建议,作者梳理了四篇校准论文的证据与局限:

论文说了什么

关键盲区:四篇论文都只测「答案是否正确」,全是 QA 类基准,没有一篇衡量多步工具调用是否是对你的数据的正确动作——TriviaQA 上的分数说明不了「这 40 行该不该删」。

由此得出的设计选择(作者自述非论文结论):

与 OWASP LLM06:2025(Excessive Agency,要求高危操作人工审批)一致。作者附有商业 agent 产品关联披露。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →