自改进 Agent 如何防失控:发布控制器隔离在外,Passkey 人工审批
viksit · x · 2026-11-01
开发者 viksit 分享其基于 pi-durable 构建的自改进 Agent「Myra」的安全架构,解决「如何确保代码改动必须经人工审批」的核心问题。
- 候选隔离:Myra 更新自身时,先在隔离工作区准备候选版本,运行检查后展示 diff、测试结果与预览
- Passkey 审批:作者通过独立审核页面用 passkey 批准该确切候选;审批与代码和构建产物绑定,候选一旦变化需重新审批
- 关键架构选择:发布控制器位于 Myra 可编辑的应用之外,独掌审批、发布检查与回滚;Myra 没有任何能批准自身改动的工具调用,更新控制器或扩权需单独的人工维护操作
- 健康检查与回滚:批准后控制器安装校验版本,启动失败即回滚并记录
下一步计划引入独立的观察者模型,分析使用轨迹以建议改进、排优先级。配图展示了从「等待 passkey」到「发布完成」的完整审核界面流程(12 项检查、Git/iOS/Hex 三端交付)。
「漫话AGI」频道最新
- Reddit 热议:云端 LLM 随意改规则,只有本地部署才可靠 — Substantial_Swan_144 · 2026-11-01
- 开发者反思："两年翻身"恐吓叙事是 AI 行业为拉估值造的谣 — Signalman23 · 2026-11-01
- Ben Goertzel 批「苦涩的教训」流行说法：规模是必要非充分条件 — bengoertzel · 2026-11-01
- 研究者探讨 LLM 能否像科学家一样从反常识现象中发现物理定律 — rohanpaul_ai · 2026-11-01
- 玩家群体发声：我们要在游戏里看到更多 AI 而非更少 — petewoodbridge · 2026-11-01
- AI 游戏资产条款引争议，开发者忧开源素材遭误伤 — TinfoilTricorn · 2026-11-01