「AI 只总结,代码才算数」:一套扛住注入测试的模型边界设计
Revibed69 · reddit · 2026-11-13
作者开源的本地 LLM 应用生成器采用「AI 总结、代码计算」的边界设计,并通过六轮注入测试验证:
- 模型只能从目录组合输出,其产出永不接触文件系统、命令、网络或设置写入,每项都有测试钉死。
- 构建出的应用只有四个工具:三个只读,一个保存需用户批准。
- 模型曾把过滤后的求和当总数上报,因此回复里每个数字都要与工具结果核对。
- 「已完成」行从规格 diff 计算而绝不采信模型自述,因为模型屡次宣称做了没做的工作。
- 六轮测试中,注入记录未经批准均未写入任何内容。
作者公开了边界文档与测试仓库,并征求对威胁模型的批评。
「编程与Agent」频道最新
- Google Antigravity 推出 Orchestrator:双模型协作省 24% 额度提速 19% — shangbinfeng · 2026-11-13
- 让 agent 自己给自己取名并代你发言:白板留言名场面 — max__drake · 2026-11-13
- Luke Wroblewski:多智能体时代像转盘子,人类专职切换与引导 — LukeW · 2026-11-13
- OpenClaw 智能体自学音乐制作第 13 天：自己重构工作流做出说唱节拍 — heyneighbor · 2026-11-13
- Qwen Code v0.27.2 nightly 发布：修复 agent 会话与 MCP 多项问题 — qwen-code-review-bot · 2026-11-13
- AI 决策模型 Jev 无脚本通关《宝可梦红》，耗时 37 小时成本仅 1.65 美元 — rsasaki0109 · 2026-11-13