「回溯攻击」揭示安全盲区:把危害藏在最合理的那一步prompt里
rsvallen · reddit · 2026-10-15
一位用户在用 Codex 逆向旧 Flash 游戏时,引出对 LLM 安全接口的结构性担忧,并提出两个核心问题:
- 当有害部分是最容易的部分会怎样("切掉刀尖"/回溯攻击):他演示了一条看似无害的 prompt 链——以 YouTube 博主做"人类 vs AI 哨塔"视频为名,逐步要求人体热追踪、倒地目标检测、可换装的三轴云台、软件可控点火器……每一步都合理,最终拼出一个危险装置。他质疑现有的自动化检查或静默标记是否能拦住这种逐步升级的链式请求——而工程、电工、3D 打印技能的普及正在把作恶门槛拉到"只需扣动扳机"。
- 当接口太"可爱"而难以拒绝时:另一条演示以社交焦虑、求职自动化为名,要求构建 MCP 去自由职业网站和社区自动回复说服人类——包装越可怜越合理,越难被拒。
核心论点:如果 LLM 与用户之间唯一接口是 context,而安全依赖 Claude 式的 pipeline 去防 prompt injection 和改写攻击,那么当恶意意图被拆散成每一步都正当的子任务时,管辖边界在哪里。
「安全」频道最新
- 开发者称通过 OpenRouter 用 Gemini 全系遭封禁,403 违反服务条款 — voooooogel · 2026-10-15
- Agent 权限该放在哪?四层管控对比:提示词最弱,外部拦截层是终局 — Fresh_Spread_9223 · 2026-10-15
- Character.AI 破产,12.5 万澳洲儿童私密聊天记录被挂牌出售 — TobyWalsh · 2026-10-15
- 用户把 Google 登录和短信 2FA 交给 AI agent,引发安全争议 — jonstephens85 · 2026-10-15
- 芯片老兵炮轰欧洲 AI 峰会:监管迷宫让欧洲在 AI 竞争中掉队 — alexvoica · 2026-10-15
- AI 伴侣成情感依赖,产品更新不再只是功能问题 — Olivier__OG · 2026-10-15