研究梳理校准论文:模型置信度难当Agent高危操作门槛
针对「Agent 工具调用中置信度高于阈值就执行、低于就询问人类」这一常见安全建议,有作者系统梳理了四篇相关校准论文,包括 Guo et al. 2017 与 Kadavath et al. 等。这些研究表明现代神经网络原生校准较差,温度缩放等手段虽可事后修正,但证据与局限并存,综合来看模型置信度不宜直接作为放行 Agent 高危操作的门控标准。
2026-11-17 ~ 2026-11-17 · 2 条相关
- 四篇校准论文梳理:模型置信度不宜作为 agent 高危操作的放行门槛 — Xjjjjyn · 2026-11-17
- 四篇校准论文综述:模型置信度不宜用于放行 Agent 高危操作 — Xjjjjyn · 2026-11-17