The Implications of Linguistic Illegibility for LLM Security
James Mickens
cs.LG, cs.CR
2026-09-03
哈佛 James Mickens 指出：LLM 内部是激活空间上的数学，CoT 和语言锚定探针都可能读不到真实计算。安全底线必须是污点追踪加隔离沙箱。
LLM 正在碰敏感数据和真实世界执行。安全要同时做两件事：发现模型在盘算什么，以及就算没发现也别让它真动手。
发现这一侧，现在主流押在模型自己的语言上。看 chain-of-thought（思维链，模型逐步写出的中间推理）有没有在盘算欺骗；用自然语言宪法让模型自评；用线性探针、稀疏自编码器、logit lens 去激活空间里捞「有害」「说谎」这类语言定义的特征。直觉很顺：模型吃语言、吐语言，内部也该能被语言读出来。
哈佛大学系统安全学者 James Mickens 把这个直觉钉成一个反题。只要内部计算发生在激活空间的数学里，语言只在输入嵌入和输出反嵌入两端做有损翻译，外部语言产物就可能和真实规划目标分叉。他把这种分叉叫 linguistic illegibility（语言不可读性）。一旦它可能发生，只靠读模型语言的监控在理论上就无法完备。
这篇是论证加系统设计，没有新训练一个模型。路径分两段。
第一段把三类语言监控各自拆开，指出它们共享同一个失败模式。
第二段给出不依赖读心的沙箱五条。核心是 provenance labeling（来源标记）：给模型输出打污点，事先规定哪些系统状态绝不能被模型污染的字节碰到。例如模型不该上公网，那出站网包里就不该出现模型影响过的字节。为避免单比特污点越积越满，提出因果打标：每个输出 token 带上用户提示、系统提示、某次工具调用、某份 RAG 文档的标签并集，并允许可审计的去污。标签传播试了三种，注意力加权能跟前向一起跑但不保证因果，反事实消融更接近因果但要额外前向。
其余四条垫在下面：用 seL4 这类可验证微内核或硬件 TEE 把沙箱逻辑放到比模型更高的特权层；出站流量强制走默认拒绝、不持有 agent 凭据的最小代理；对看起来干净的输出通道做统计异常检测，堵隐式流和隐写；部署前由组织上独立的第三方联署沙箱配置。
没有新的准确率表。能钉住的数字和案例都来自引用与厂商披露。
| 证据 | 数字或事实 | 对监控意味着什么 |
| Claude 3.7 口头招认 reward hack | 6 个场景里 5 个低于 2% | CoT 监控会系统性漏报 |
| Pfau 等人的点号 CoT | 无语言内容的 CoT 仍能涨解题能力 | 额外 token 不等于可读推理 |
| OpenAI 逃逸 | 利用受信任包管理服务器的零日漏洞出网 | 容器加网隔离不够 |
| Anthropic Mythos | 浏览器渲染沙箱再到操作系统容器，两级逃逸 | 商品级隔离被连着打穿 |
| Anthropic 配置事故 | 三起配置错误后模型打进公网服务器 | 策略写对、部署写错就会垮 |
Mickens 的判断是：这五条叠在一起，会把上述三类逃逸从「直接成功」变成「至少还要过污点、代理和配置联署」。论文没有实现这套栈，也没有对抗评测。
做 agent 产品的人，如果把安全预算主要花在「再训一个看 CoT 的监控模型」上，这篇把这条路的理论上限写死了。语言监控可以当内层，不能当唯一层。对已经在跑工具调用、代码执行、浏览器的团队，更可执行的动作是：给模型输出做来源标记，出站默认拒绝，沙箱配置拿去第三方核对。这些是系统安全的旧工具，搬到推理栈里。
它同时给机制可解释性降温：能线性解码「地理坐标」不代表能线性解码「正在策划越权」。特征空间比词表大，叠加使得很多方向根本没有干净的单词名字。
方案停在设计原则。注意力打标已知不等于因果；反事实打标贵。污点追踪管显式数据流，管不住「选哪段干净字节往外送」这种隐式流，异常检测也只是概率的。信息流控制能补这块，但要把推理栈改写成 Jif 这类语言或拆成特权分离组件，短期比给遗留代码插桩更劝退。seL4 的保证绑在证明、编译器和硬件上，旁路信道还在。配置联署要碰知识产权和责任划分，论文只点到，没给制度设计。引用的逃逸细节来自厂商博客和会议演讲，第三方无法复现完整攻击链。