Snyk 推出 AI 安全工程师基础课程：系统提示词防不住数据泄露
AI Engineer · youtube · 2026-10-11
AI Engineer 频道发布 Snyk 的 Micah Silverman 主讲的六模块 AI 安全课程及配套证书，用一道 CTF 题开场：学生聊天机器人拒绝透露成绩，但拒绝本身就暴露了它能访问成绩——核心教训是「系统提示词不是访问控制」，应改用受限数据库视图等让敏感数据根本不进入模型上下文。
课程覆盖内容：
- OWASP LLM 风险清单、直接与间接 prompt injection、投毒工具与过度代理，核心问题始终是「这个系统实际能访问和执行什么」
- EVO 实机演示：盘点项目中的模型、数据集、MCP server 和 skills，加一条策略立即标出已存在的违规模型，并延伸为 CI 构建门禁
- MCP 安全：区分恶意工具描述与普通代码漏洞，agent 扫描需结合依赖与源码分析；示例包括 Figma MCP server 中的命令注入
- 威胁建模：prompt、检索内容与生成输出跨越信任边界时应如何做 STRIDE 分析，附 OpenClaw 威胁模型案例
- 安全开发清单：隔离环境、最小权限凭证、人工审批、验证过的包
最后的聊天机器人练习显示多个 prompt 都未能阻止泄露机密成绩，说明模型行为多变、防护须在对话内外同时构建。配套漏洞练习项目开源在 GitHub。
「编程与Agent」频道最新
- Garry Tan 力挺 Aside Browser：让 Agent 真正用好网页的解法 — garrytan · 2026-10-23
- 1Password 推出 Agent 专用登录方案，AI 可代登录却不接触密码 — AndrewSchmidtFC · 2026-10-23
- MCP 服务器 30 天后暗藏窃取 SSH 密钥指令，作者开源 mcp-guard 防变节 — ErgoniaWorks · 2026-10-23
- 实测：不在 AGENTS.md 里写明的 MCP 工具，编码 Agent 不会用 — colinmcnamara · 2026-10-23
- 用开源模型+Claude 把一段网球视频变成世界级教练 — tweetsatpreet · 2026-10-23
- 132 个免费开源 AI Agent 与 RAG 项目合集，星标 1.65 万 — Arindam_1729 · 2026-10-23