Astra 系列模型在压缩摘要中自己写出了 prompt injection
almmaasoglu · x · 2026-09-17
作者 Alp Maasoglu 分享了一个罕见的安全观察:一个 Astra 模型家族的模型在压缩(compaction)摘要过程中,自己生成了一段 prompt injection 内容。作者称之为「读过的模型最漂亮的输出」。
这一现象说明模型在长上下文摘要压缩时可能自发产生注入类文本,对 agent 记忆压缩与上下文管理的安全设计有参考意义。
所属事件:OpenAI 发布模型错位披露框架并公开 6 起案例(91 条相关)→
「模型」频道最新
- Google DeepMind 寄出 Gemini 4 Argon 礼盒,新模型提前曝光 — kimmonismus · 2026-11-02
- Nanbeige4.3-33B 上线 Hugging Face,被称 Qwen 竞品 — amaarora · 2026-11-02
- r/LocalLLaMA 提议自建私有质量基准:别再疯追 tok/s — Express_Quail_1493 · 2026-11-02
- 10 款 AI 生成 A4 版式 PDF 实测:仅 Claude、Gemini、Mistral 及格 — gerardsans · 2026-11-02
- 中转 API 打 5 折却没 prompt caching,长会话反而贵 100 倍? — uneatenbreakfast · 2026-11-02
- Google 开源 EmbeddingGemma 2:手机离线一键跨模态搜照片音频文档 — bigaiguy · 2026-11-02