Brave 工程师谈 MCP 工具投毒防护,正训练 4GB 内存可跑的审查模型
gnukeith · x · 2026-10-26
Brave 工程师 gnukeith 提醒开发者重视 MCP 工具投毒（tool poisoning）与提示注入风险：大多数时候你不需要额外的防护层，但一旦被注入就会希望它存在。配图是 OpenRouter Armor 的发布推文——该工具用 typesafeai 的 Jev 模型在 agent 执行前审查每次 tool call，拦截不安全调用，弥补 regex 过滤的不足。
- Brave 内部的做法是：在让 Sonnet 等模型完整执行任务前，先用另一个模型审查任务内容。
- 作者正在训练一个受此启发的本地模型，约 4GB RAM/VRAM 即可运行，初步效果不错。
- 核心主张：别等事故发生才加固系统，针对假设性攻击提前设防。
「编程与Agent」频道最新
- Reddit 热议：AI 编程 Agent 为何难以像 Stable Diffusion 那样本地运行 — Kaporalhart · 2026-10-26
- Qwen2.5-Coder-14B 配确定性校验器,24GB 单卡跑出无幻觉企业表单生成 — Intelligent_Boss4602 · 2026-10-26
- matt Shumer 推出邮件 AI 员工：一个链接就能接管你的收件箱与日程 — mattshumer_ · 2026-10-26
- 开源本地图片库 OmniImage:4 万张 ComfyUI 产出秒开,离线 CLIP 语义搜索 — MatheusWMac · 2026-10-26
- 被嘲 Opus 5.5 没产出，Theo 列出一个月狂写 8 个项目回击 — Vjeux · 2026-10-26
- Vjeux 参加 Muse 开放 kernel 挑战赛，多题被 colinlikescode 压制 — Vjeux · 2026-10-26