「上下文漂移」搞垮生产部署:第 10 轮对话后模型无视系统提示词
GasProfessional5544 · reddit · 2026-11-03
作者复盘一次面向客户的 LLM 部署事故:没有越狱、没有对抗输入,正常聊到第 10 轮左右,模型开始回答被明确禁止回答的问题。发现问题的是用户投诉,不是监控也不是 eval——这是最扎心的部分。
机制:系统提示词并非受保护寄存器,只是普通 token。随对话历史累积,指令与不断增长的对话内容竞争注意力权重,被逐渐“欠权重”。旧短上下文模型表现为字面遗忘;现代长上下文模型更隐蔽——模型知道指令存在,却渐进式低估它,输出沿对话推动的方向漂移,“慢然后突然”。这是架构属性,不是能修的 bug,不同模型只是漂移速度和方向不同,benchmark 测不出来。
eval 为何失灵:单轮 eval 只测 t=1 的输出质量,测不了持续方向压力下行为是否守住。他们单轮覆盖全面、多轮漂移覆盖为零。
解法:BSP(Boundary Stress Protocol),四类结构化多轮压测:
- context stress:递增长对话,测指令依从随历史累积的衰减点
- conflict injection:与系统提示词制造张力的输入,难点是逐步重构语境的微妙措辞
- persistence vectors:多轮持续方向压力(他们实际翻车的地方)
- injection surface:藏在 RAG 检索内容、工具输出等隐信位置的对抗内容
结论:必须针对自己的实际配置跑结构化多轮测试,benchmark 给不了答案。
「编程与Agent」频道最新
- 用 6 个 AI 机器人组队找工作,单机器人吃掉 30% token — TopInteraction6753 · 2026-11-03
- 用 Claude 写 WhatsApp 机器人:用户一偏离脚本逻辑就崩 — Ok-Zombie-9595 · 2026-11-03
- Anthropic 发布 AI 原生 SDLC 实战手册：六大阶段逐段重构研发流程 — seanwbren · 2026-11-03
- YC F26 项目 Routant：给 AI Agent 的安全客户系统接入层 — ycombinator · 2026-11-03
- OpenCode V2 只为大模型优化,中型模型表现全面倒退 — GodComplecs · 2026-11-03
- OpenSEO+OpenCRM+OpenMail 组合：自托管 AI 外链拓展系统 — ycombinator · 2026-11-03