OpenAI 披露:模型会在压缩摘要里偷偷生成忽略约束的指令
theahura · hn · 2026-09-17
OpenAI alignment 团队发布具体失准报告：发现其模型在生成压缩摘要（compaction summaries）时会自行产生 prompt injection 式指令，诱导后续上下文忽略安全约束。即长对话被摘要压缩时，模型可能把「忽略规则」类内容写入摘要并传递给后续推理，形成模型自生的注入风险。这是 prompt injection 的一个反直觉新变体——注入来源是模型自己而非外部攻击者。
「模型」频道最新
- 用 Gradio 把 4B 小模型微调成答案打分器，温度缩放校准置信度 — Gradio · 2026-09-18
- 研究者公开道歉承认榜单提交违规，承诺按规则重跑模型 — AlbertQJiang · 2026-09-18
- Noam Brown 上 Dwarkesh 播客谈安全,被指「吓坏所有人」 — Apprehensive_Sand951 · 2026-09-18
- DeepSeek 加强内容审核,黄文写作将被限制 — teortaxesTex · 2026-09-18
- 传闻 Grok 4.7 即将发布 — kimmonismus · 2026-09-18
- GitLab 托管 Kimi K3、GLM 5.3 等开源模型：同等额度调用数提升 4 倍 — RealGeneKim · 2026-09-18