OpenAI 披露:模型会在压缩摘要里偷偷生成忽略约束的指令
theahura · hn · 2026-09-17
OpenAI alignment 团队发布具体失准报告：发现其模型在生成压缩摘要（compaction summaries）时会自行产生 prompt injection 式指令，诱导后续上下文忽略安全约束。即长对话被摘要压缩时，模型可能把「忽略规则」类内容写入摘要并传递给后续推理，形成模型自生的注入风险。这是 prompt injection 的一个反直觉新变体——注入来源是模型自己而非外部攻击者。
「模型」频道最新
- 别再按月租智能了:Anthropic 服务端新规再掀开模型之争 — alex_verem · 2026-11-02
- Epoch AI 实验：GLM 5.3 连续攻破 6 个 Firefox 版本，单次成本约 1000 美元 — rohanpaul_ai · 2026-11-02
- SemiAnalysis：安全分类器压分，Opus 5.5 与 GPT-6 Astra 排名被低估 — morqon · 2026-11-02
- 1.7B 本地模型 LFM3 在 MacBook 上首次答对曼城赛程查询 — NielsRogge · 2026-11-02
- Similarweb：Claude 升级页流量 9 月回升至 1760 万，逼近 5 月峰值 — firstadopter · 2026-11-02
- 开源 GLiNER-PII 单卡 550ms 抓出病历 13 项身份标识,仍漏医院名 — MaziyarPanahi · 2026-11-02