开源工具在工具执行前记录 LLM agent 参数来源,可检测提示注入
Jay299792458 · reddit · 2026-10-28
一位开发者开源了一个 agent 安全测试框架(execution-state-preflight),核心思路是在工具真正执行之前,先记录每个工具参数的来源,用于研究 agent 的行为一致性:
- 记录每次工具调用的参数从哪段文本而来,再执行工具
- 测量相同输入是否产生相同决策(一致性)
- 检测模型是否把别人文本里的内容当作参数,而非来自用户——即一类 prompt injection / 参数来源污染场景
作者称修改后可扩展到更多用途,仓库附 hooks 示例文档。
「编程与Agent」频道最新
- 开发者主张:工单、代码、测试、PR 全应交给 Agent 生成 — intellectronica · 2026-10-28
- 亚马逊封堵外部购物 Agent 一年,Meta Muse 等新一轮 AI 助手再施压 — pstAsiatech · 2026-10-28
- Avalon-M1 用集体奖励 RL 训练 LLM 组建 Agent 组织,平均分 33.5%→45.7% — RobertTLange · 2026-10-28
- 沙特创作者用 GPT 的 MCP 串联 Halo 与 Runway 产出图文视频作品 — aziz4ai · 2026-10-28
- 用 opencode 驱动 Qwen 模型成功 Root LG 电视,清除间谍广告软件 — Switchboy1 · 2026-10-28
- 合成数据新思路：用攻防压力逼 LLM 写出更好的形式化规格 — jd_pressman · 2026-10-28