四篇校准论文综述:模型置信度不宜用于放行 Agent 高危操作
Xjjjjyn · reddit · 2026-11-17
- 作者系统梳理了四篇支撑「按模型置信度门控 Agent 工具调用」建议的论文:Guo et al. 2017(现代神经网络原生校准差,温度缩放可事后修正)、Kadavath et al. 2022(大模型在选择题/判断题上校准良好,但对新任务「我知不知道」的判断较差)、Tian et al. 2023(让 RLHF 模型直接说出置信度比 token 概率更准,ECE 相对降低约 50%)、Xiong et al. 2023(LLM 口头表达置信度时倾向过度自信,能力越强校准越好)。
- 关键缺口:这四篇都只测 QA 式基准上的「答案对不对」,没有一篇测多步工具调用在你自己的数据上是否是正确动作——TriviaQA 上的分数说明不了「这 40 行该不该删」。
- 由此得出的设计取舍:① 用无需模型计算的属性门控动作(动作类型、是否可撤销、影响行数、金额等);② 置信度只用于路由读操作和送审,绝不能作为发送/支付/删除/发布的许可;③ 若用分数,须在自己的标注样本上校准,且每次换模型后复检;④ 优先用多次采样的一致性而非单一自报数字。
- 与 OWASP LLM06:2025「过度代理」的建议一致:高危操作前须人工审批。作者附有关联商业 agent 产品的披露,并征求是否有人在工具调用正确性上实测过校准。
所属事件:研究梳理校准论文:模型置信度难当Agent高危操作门槛(2 条相关)→
「编程与Agent」频道最新
- 开源项目 Agent Substrate 让空闲 Agent 挂起唤醒,同硬件跑 10 倍 Agent — Saboo_Shubham_ · 2026-11-17
- ChatGPT Wallet 只解决了支付安全,买错货无人把关 — krishnan · 2026-11-17
- Grok 代理打电话帮用户要回 1511 美元退款 — elonmusk · 2026-11-17
- OpenAI 代理记忆系统省钱三招:缓存 TTL、Flex 减半、少调用 — gabrielchua · 2026-11-17
- 10 个开源仓库搭一条 AI 内容工厂,无需雇佣团队 — aftahi_ai · 2026-11-17
- 开源3D生成工具盘点:游戏级生物建模成本从上万美元降到零 — ID_R_McGregor · 2026-11-17