研究梳理校准论文:模型置信度难当Agent高危操作门槛

针对「Agent 工具调用中置信度高于阈值就执行、低于就询问人类」这一常见安全建议,有作者系统梳理了四篇相关校准论文,包括 Guo et al. 2017 与 Kadavath et al. 等。这些研究表明现代神经网络原生校准较差,温度缩放等手段虽可事后修正,但证据与局限并存,综合来看模型置信度不宜直接作为放行 Agent 高危操作的门控标准。

2026-11-17 ~ 2026-11-17 · 2 条相关