保形风险门控实测：置信度全饱和，不如每步都问用户
Gjuesev · reddit · 2026-10-15
作者在 tau-bench retail 上给 LLM agent 的写操作前加了一道 gate-calibrated 风险门控：结合模型自报置信度与 k 次重采样的一致性，经保形风险控制（conformal risk control）校准后与阈值比较，决定是否请求用户确认（实现自 ToolChain-CRC 与 CORA 论文，共 3,340 次模拟对话，agent 与模拟用户均为 glm-5.3-flash）。
结果
- 风险控制本身有效：alpha=0.02 时 460 条测试对话中 1.7% 未经确认执行了错误写操作，alpha=0.05 时 3.7%，均在目标之内。
- 但门控没有跑赢「每次都问」：alpha≥0.10 时阈值过低导致从不询问；alpha=0.02 时每次确认可避免 0.062 次错误写入，门控只有 0.058（CI [-0.04, 0.03]），且任何 alpha 下都做不到零错误，而全确认策略可以（每对话 1.57 次确认）。
诊断最有价值：549 个写步骤中 548 个自报置信度 ≥0.9，5 次重采样一致性 780 步中 758 步 ≥0.9——两个信号全部饱和，包括全部 43 个错误步骤；校准器真正学到的是「对话越靠后的步骤风险越高」（step index 权重 -0.80）。
代码、数据与负面结果开源：github.com/Gjusev/gate-calibrated。作者提问：既然置信度信号这么饱和，该用什么来排序写操作风险？
「编程与Agent」频道最新
- 实测 12 套决策系统：分类器换版的「LARP 式炒作」陷阱 — KlausCodes · 2026-10-23
- 「给 agent 用的 Product Hunt」上线:按真实调用排出的工具榜 — claudeai · 2026-10-23
- 个人智能体元年：OpenClaw 走红到大厂集体入场的一年 — sujingshen · 2026-10-23
- Shopify 内部 Slack bot River 不擅长移动开发,员工做内部广告说服工程师 — jevon · 2026-10-23
- 梗图：AI vibe coding 与老虎机的对应关系逐条拆解 — burny_tech · 2026-10-23
- 一个 prompt 让 Claude Code 造出可拆解的无人机原理演示 — NERDDISCO · 2026-10-23