调用顺序即控制:Reddit 网友分享让 AI 建议不污染人工审核的管线设计
Neither_Opinion69 · reddit · 2026-11-03
一位构建风险指标阈值(绿/黄/红区间)提案 agent 的开发者在 Reddit 分享了一个反直觉的工程结论:当管线里同时存在硬规则和模型时,调用顺序比 prompt 更重要——「顺序本身就是控制」。
踩过的坑:最初设计是先让模型给建议、再用规则覆盖。结果模型在合同红线 1.0% 附近写了「p90 接近 0.7%,建议收紧到 0.7%」——这句话在被规则否决之前就已出现在审核者屏幕上。审核者无法「没读过」它,这是经典的锚定效应(作者引用 Tversky & Kahneman 的转轮实验),只不过现在署名是「AI 建议」。
改后的五步设计:
- 有合同/监管等强制来源的阈值:逐字采用,不问模型
- 零容忍指标:绿 0 / 红 1,无黄区,不问模型
- 只对统计类指标调用模型,且只让它从封闭方法列表(均值+SD、百分位等)中选方法,响应 schema 里根本没有数值字段
- 区间由确定性代码计算并留 trace;校验 FAIL 记录为「blocked」而非「proposed」
两道额外防线:正则把模型自愿吐出的数字打码显示;校验器独立拒绝「对零容忍指标用平均法」——即便调用顺序已使其不可达,因为「仅靠 if 分支顺序成立的防线离一次重构失效只差一步」。
作者还用假模型复现了两种设计:check-first 只需 1 次模型调用,ask-first 需 3 次,但输出区间完全相同——这说明针对输出的单元测试无法区分两种设计,得靠统计固定集上的模型调用次数。
「编程与Agent」频道最新
- 一人跑两家 AI 公司:8 个 Grok Bot 组成全自动管理团队 — alexgoughcooper · 2026-11-03
- 数学教授用 Codex 控制"一次性电脑"40 分钟重做个人网站 — AlexKontorovich · 2026-11-03
- 64 块 B300 训练 5 天,FireFlash 编码代理登 Terminal-Bench 帕累托前沿 — kaiwei_chang · 2026-11-03
- Q8 的小模型胜过 iq3 大模型?网友实测量化“阉割”权重的可用性 — Ok-Doughnut-3022 · 2026-11-03
- 三大厂 CLI Agent 齐更新:实测本地运行与默认遥测谁最干净 — GapNew4766 · 2026-11-03
- Text.js:在浏览器 DevTools console.log 里跑全栈 React 应用 — threepointone · 2026-11-03