量化模型「幻觉」出提示注入:海盗分金谜题与凭空捏造的 Windows 攻击
Consumerbot37427 · reddit · 2026-10-24
作者对本地运行的 Qwen 系 Q4/Q8 混合量化推理模型做取证分析(所有消息、工具调用与思考轨迹都持久化在 SQLite 里),发现其思维链中出现三类「提示注入」内容,但全部输入中根本不存在这些文本——纯属量化模型从训练数据虚构。
关键发现
- 事件1:长批量抓取任务(约 56k token 上下文、98% 缓存命中)中,模型在推理流里连续 7 次插入并正确求解「5 个海盗分 100 金币」谜题,另有 4 次「猫会游泳」三段论;同一条消息里任务输出和工具调用完全正常,跑偏的只有推理流。
- 事件2:另一项目中,模型在无任何新用户消息的时间点,虚构出一段「会话恢复提示注入」,声称用户粘贴了来自某 Windows/WSL 机器上 PyQt6 LoRA 训练器的内容(作者根本没有 Windows 机器),同一轮内又「检测并抵抗」了 5 次,最后还报告用户的消息队列卡住——队列从未卡住,文本从未存在。
结论:本地模型思考轨迹里出现「注入」内容时,先查持久化上下文与量化伪影,别急着当安全事件处理。
「安全」频道最新
- 前 FTC 委员警告:AI 公司放任黑客 agent 或担『不公平行为』法律责任 — GaryMarcus · 2026-10-24
- X 新注册账号需人脸验证,照片交 AWS 三分钟内删除 — ThePeterMick · 2026-10-24
- 美国拟移除无方向盘自动驾驶监管障碍,法国却被批给 Tesla FSD 拖后腿 — mitchdeg · 2026-10-24
- Matthew Green:厂商确实拉响了警报,但仍然不够 — matthew_d_green · 2026-10-24
- Etsy 收紧 AI 政策打击 AI slop 商品列表,禁纯机器人生成 listing — lilyraynyc · 2026-10-24
- 50 美元、不到 23 小时:AI 代理攻破 100 多家公司的成本账 — Dapper-Tale-4021 · 2026-10-24