四篇校准论文复盘:模型置信度不足以放行 Agent 的危险操作
Xjjjjyn · reddit · 2026-11-17
「置信度高于 X 就让 agent 自主行动、低于 X 就问人类」是常见的 agent 安全建议,作者系统回看了四篇校准论文,结论是它站不住脚:
- Guo et al. 2017:现代神经网络开箱即用时校准很差,temperature scaling 只能事后补救(且是 LLM 之前的分类器工作)。
- Kadavath et al. 2022:大模型在格式正确的选择题/判断题上校准良好,但在新任务的「我知不知道」上很挣扎。
- Tian et al. 2023:RLHF 模型口头表达的置信度比 token 概率更可靠,在 TriviaQA/SciQ/TruthfulQA 上常把期望校准误差相对降低约 50%。
- Xiong et al. 2023:LLM 表达置信度时普遍过度自信,能力越强校准越好;多采样一致性是可行基准。
关键缺口:四篇论文都只测「答案对不对」,几乎全是 QA 基准,没有一个测过「在你自己的数据上,这步多步工具调用是不是正确动作」。TriviaQA 上校准过的分数说明不了「这 40 行该不该删」。
由此得出的设计取舍(作者自己的主张):
- 用不依赖模型就能计算的规则做门控:操作类型、能否撤销、谁能看到结果、触及多少记录、金额。
- 置信度只用于路由读操作:低置信度抽取转人工复核,分数永远不授权发送、支付、删除、发布。
- 若一定要用分数,须在自己的标注样本上校准,且每次换模型后重校。
- 多采样一致性优于单一自报数字。
这与 OWASP LLM06:2025(Excessive Agency,高风险操作须人工批准)一致。作者坦承关联某商业 agent 产品、帖子经 AI 起草人工审校,并征集有人在工具调用正确性上实测过校准的案例。
「编程与Agent」频道最新
- OutfitterBench:200 天装备租赁模拟揭示 LLM 智能体长期承诺协调短板 — Jie Huang · 2026-11-17
- Craftax 长程任务新法:反馈级联引导 LLM 进化程序化策略与目标编译器 — Víctor Gallego · 2026-11-17
- 实体消歧实测:靠上下文判断准确率 97.9%,纯名字匹配仅 63.5% — YvesMulkers · 2026-11-17
- XState v6 Beta 发布:AI 时代状态机编排,周下载量超 800 万 — mattpocockuk · 2026-11-17
- Matt Pocock 分示评估 prompt:让 AI 用 draft PR 实测新技术值不值得用 — mattpocockuk · 2026-11-17
- Motion 推出「Claude Code 剪视频」:素材加一句 prompt 全自动剪辑 — CurieuxExplorer · 2026-11-17