给大模型制造“视觉错觉”：混合隐藏层让LLM产生概念错乱
matthen2 · x · 2026-08-02
开发者通过在 Qwen2.5-7B-Instruct 模型中混合不同 token 的隐藏状态，成功为大语言模型制造了一种类似“视觉错觉”的现象。
具体技术细节：在提示词的混合位置，模型前 20 层使用一个 token 的隐藏状态，后 8 层使用另一个 token 的状态。如果模型生成其中一个混合 token，两者会被同时运行，并将 KV 缓存替换为两者的平均值。
有趣表现：这种操作会导致模型产生概念错乱。例如，混合“鸟”和“石头”，模型会脑补出一种“能自我繁殖的硬质蛋状物”；混合“罗马”和“德里”，模型会输出“印度的首都位于台伯河畔”。
「Fun」频道最新
- 网友调侃马斯克 flying Roadster:波兰早就有飞行汽车了 — michalmalewicz · 2026-10-16
- 网友用 AI 做出 Tesla Roadster 模拟器,一键即可在线体验 — Scobleizer · 2026-10-16
- 印度巨星宝莱坞式胡言乱语爆红：没有 LLM 能写出这种句子 — devenbhooshan · 2026-10-16
- 把梗图猫做成网页游戏《Cat wif Sword》可在线玩 — ezshine · 2026-10-16
- 大V Tibo 称 AI 圈要么黔驴技穷要么酝酿大招 — xiaohu · 2026-10-16
- Marc Andreessen 玩梗：Elon 强到给模拟器解锁了开发者模式 — beffjezos · 2026-10-16