非形式化验证:用 System One 模型为 Agent 工作流建立认知信任
LauraRuis · x · 2026-11-22
Nikolas Goebel 撰文讨论 agentic 软件工程中的信任问题,Laura Ruis 转发推荐。
- 核心论点:让 agent 修改复杂系统需要的不只是经验信任(track record),而是「认知信任」(epistemic trust)——你需要相信系统的实际行为与你的心智模型一致。
- 经典例子:一台按颜色分拣弹珠的机器,拆开发现内部其实按大小分拣,只是正常运行时两者恰好等价;喂入一颗大号蓝弹珠就能暴露这种错位。长期不出事故只建立经验信任,「加入大蓝弹珠」才需要看内部。
- 方法论主张:验证本质上是建立信任的练习,形式化验证现在既酷又实用,但并非必需。System One 模型可以充当非形式化证明检查器:在接受「直觉上正确」的同时,迫使作者以更高的细节层次把推理写清楚,在 agent 工作流中与形式化方法互补。
「编程与Agent」频道最新
- NotebookLM + Antigravity 组合:4 个提示词把研究缩到几分钟 — aftahi_ai · 2026-11-22
- 安全提醒:API key 喂给模型后务必删除或用小时级临时凭证 — lipeng0820 · 2026-11-22
- Lauren Tan 团队月发 11000 个 PR,revert 率仅 0.5% — aftahi_ai · 2026-11-22
- 开发者 Rudrank 分享自研 AI 编排器项目 — rudrank · 2026-11-22
- 开发者用 Opus 5.5 让 AI 每日自动维护 ASC CLI 版本发布 — rudrank · 2026-11-22
- Logan Kilpatrick 暗示:Gemini 订阅 12 月 2 日起可用于第三方 Agent 框架 — testingcatalog · 2026-11-22