开发者自发组队研究:如何验证 agent 的状态变更没越权没副作用

Gallegos_Daniel · reddit · 2026-09-27

一位开发者发起 unpaid 自组织研究小组,招募 2-3 人研究 agent 基础设施中被忽视的难题:能否验证 agent 通过授权路径产生了预期的状态变更,且没有计划外的副作用?

他指出当前 agent observability 只能告诉你 agent 做了什么(工具调用、trace、报错、延迟),但回答不了「这次操作是否正确且在预期范围内」。例如 agent 修改数据库或配置时,能否产出证据证明:预期变更确实发生、走的路径被授权、范围外的东西没被动过。

计划先做文献综述和问题形式化,再搭小型实验环境。欢迎分布式系统、安全、可观测性、评估、形式化方法背景的人参与。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →