双模型隐语通信被破解：线性翻译器猜中93%隐藏词

Sauers_ · x · 2026-11-01

研究者 @salinecrop 在 @Sauers 的 neuralese（隐状态通信）工作基础上做了可解释性探索：两个模型（Qwen3-4B 与 AFM-4.5B）通过彼此的 hidden states 通信，各自持有私密切语词。结果显示外部观察者可以用一个在 183 个其他词上拟合的线性映射（Translator）解码通信内容，在 80 个未见过的词上猜中率高达 93%（logit lens 仅 8%，随机 1.25%）。两个模型在 36 层中的 8 层读取对方的隐状态，其中一方从未见过对方的密语词。