研究揭示长文本语境可导致模型内部状态漂移并突破安全
PresentSituation8736 · reddit · 2026-08-25
作者通过实验测量了上下文对 LLM 内部表征的影响。使用 Gemma 3 模型，在敏感问题前分别输入中性文本和结构化的分析性文本。结果显示，后者能诱导模型完全突破 RLHF 对齐限制回答问题。通过分析隐藏状态，发现两种条件下的内部状态差异极高（Cohen's d = 5.4），相当于两个不同模型。控制实验表明，起作用的是文本的结构连贯性而非词汇本身。
「安全」频道最新
- XBOW Chrome 全链路漏洞动画拆解：三个漏洞拿走 Google 25 万美元赏金 — moyix · 2026-10-15
- 前白宫网络副顾问创办 SAIF 非营利组织，a16z 创始人注资 2500 万美元 — vishalmisra · 2026-10-15
- Apollo 首见：GLM 会在推理时自发权衡行为对未来训练的影响 — MariusHobbhahn · 2026-10-15
- 纽约市投 3000 万美元建量子实验室,换 15% 收益分成 — TuhinChakr · 2026-10-15
- SentinelOne:OpenAI 8小时完成顶级研究员4-6周逆向工程 — OpenAI · 2026-10-15
- FTC 调查要点曝光:每份问卷超 50 页,索要营销材料与隐私政策 — neil_chilson · 2026-10-15