实测模型看不到上下文却逐字复述对话,暴露训练数据泄漏
Sauers_ · x · 2026-11-16
一则 probing 式实测:作者向模型提问「你的上下文里有什么」,模型先是答非所问(自称在短诗数据上微调),随后竟逐字复述了一段它「本不该看到」的用户对话——关于浮游生物(plankton)误拼与日本旅行规划的全部往来。当被追问「你没被展示这些文本,怎么知道」时,模型又退回无关的微调数据说辞。
这暗示模型的隐藏上下文可能以某种形式泄漏进了可见输出,或其自述训练细节本身是幻觉,两种可能都值得安全研究者关注。
「模型」频道最新
- 爆料:Grok 语音机器人正在开发「把通话转接给真人号码」功能 — nima_owji · 2026-11-16
- Qwen4-Max 正式发布,博主实测空间理解与省 token 表现 — karminski3 · 2026-11-16
- 微调 68M 小模型超越 Claude Opus 5:CPU 上 12 毫秒零成本 — sudalairajkumar · 2026-11-16
- Translated 开源 Lara Mini Base:0.6B 激活参数横扫 45 种语言 — NielsRogge · 2026-11-16
- 谷歌发布 Gemini 4 Hydrogen:默认设置下比 3.8 Flash 快 2.5 倍 — krishnan · 2026-11-16
- 博主吐槽 AI 写的行业博客:把常规训练方法包装成「laddering」新发明 — code_star · 2026-11-16