四篇校准论文梳理:模型置信度不宜作为 agent 高危操作的放行门槛
Xjjjjyn · reddit · 2026-11-17
针对「置信度高于 X 就执行、低于 X 就问人」这一常见 agent 安全建议,作者梳理了四篇校准论文的证据与局限:
论文说了什么
- Guo et al. 2017:现代神经网络开箱即欠校准,temperature scaling 可事后大幅修复(针对 LLM 之前的分类器)
- Kadavath et al. 2022:大模型在格式规范的多选/判断题上校准良好,但在新任务上「我知不知道」的自我评估很挣扎
- Tian et al. 2023:RLHF 对话模型口头表达的置信度通常优于 token 概率,常把期望校准误差相对降低约 50%
- Xiong et al. 2023:LLM 口头表达置信度时倾向过度自信;能力越强校准越好;采样多答案测一致性也是可行基准
关键盲区:四篇论文都只测「答案是否正确」,全是 QA 类基准,没有一篇衡量多步工具调用是否是对你的数据的正确动作——TriviaQA 上的分数说明不了「这 40 行该不该删」。
由此得出的设计选择(作者自述非论文结论):
- 用模型之外的属性做闸门:操作类型、可否撤销、影响范围、涉及记录数、金额
- 置信度只用于路由读操作和送审,绝不让分数获得发送、支付、删除、发布的权限
- 若用分数,须在自己的标注样本上校准,且每次换模型后复检
- 优先用多次采样的一致性而非单一自报分数
与 OWASP LLM06:2025(Excessive Agency,要求高危操作人工审批)一致。作者附有商业 agent 产品关联披露。
「编程与Agent」频道最新
- 开源3D生成工具盘点:游戏级生物建模成本从上万美元降到零 — ID_R_McGregor · 2026-11-17
- State of AI 2026 报告发布:前沿已成三大实验室竞局 — nathanbenaich · 2026-11-17
- 10 个开源 AI 代码审查仓库盘点:PR-Agent 16k 星领衔 — victor_explore · 2026-11-17
- Alchemy 作者回应一致性质疑:已支持一致读,需发 Command receipt — samgoodwin89 · 2026-11-17
- 印度 Sarvam 推出编程模型 Sarvam Code,跑在自研 Token Factory 推理栈上 — itsOmSarraf_ · 2026-11-17
- ComfyUI 上跑 Viggle 动作迁移:6GB 显存即可全自动完成 — cgpixel23 · 2026-11-17