零梯度把 6 位算术电路编译进 LLM 权重,Qwen 3.5 100%

A CPU Inside an LLM: Zero-Gradient Compilation of Exact Circuits into Pretrained Weights

Tanmay Sah

cs.AI

2026-11-20

解析构造把 6 位加减乘电路直接写进开源模型权重,零梯度零训练样本,Qwen 3.5 准确率 100% 且语言基准非劣效,LoRA 微调仅 61.7%。

这篇在解决什么

多位数乘法是 LLM 的老大难。部署系统的标准解法是工具调用:暂停解码、把算式发给 Python、把结果贴回来。这条路有代价:延迟、攻击面,而且在气隙或纯张量推理环境里根本没有 host 代码可调。学术上的另一条路是 RASP/Tracr 这类「程序编译成 Transformer」,但它们从零搭建玩具模型,假设有 bias、绝对位置编码、无归一化,与真实开源模型的现实(RMSNorm、bias-free SwiGLU、RoPE、线性注意力)全部相悖。

这篇要做的事可以概括成一次「权重手术」:给现成的 3B-4B 开源模型写入精确的 4-8 位带符号加减乘电路。不跑一个梯度步、不用一条训练数据、不挂任何运行时 hook,并且原有语言能力不能掉。

方法

难点有三个,对应三组闭式原语。

未知缩放。 RMSNorm 会把每个 token 的隐向量乘上一个运行时才知道的系数 λ,摆动范围超过 250 倍。论文先证单层不可能性:bias-free GLU 的输出在缩放趋零时必然塌缩,阈值比较做不出来。两层方案利用一个积分恒等式,在指数间隔的门尺度网格上对 SwiGLU 求积,λ 的作用退化成网格上的平移,而积分平台是平的;再用商 v/r 把 λ 消掉。网格步长 0.55 时离散误差不到 6.3×10⁻⁶,并且一路给出 IEEE 754 的逐位误差界。

跨 token 路由。 Granite 走 RoPE:标准正频率权重在长距离留有正旁瓣(S(δ)≥+0.61),注意力会泄漏到错误 token 上;改用带符号 Chebyshev 权重构造出 S(0)=+1、其余位置 ≤−0.355 的核,不活跃的 query 就干净地停在自己零载荷的「self-sink」上。key/value 里同时携带 [λ, λ·x],读出时相除还原原始数值。Qwen 走另一条路:把 GatedDeltaNet 的遗忘门设成精确 0,层变成无记忆的,再用 SiLU(u)−SiLU(−u)≡u 恒等式做精确移位。

往哪儿放。 旧思路用 SVD 投影在原宽度里腾 K 条 wire,论文用 Ky Fan 特征值下界证明这必然损伤语言(实测 next-token KL 恶化 43 到 3800 倍)。这篇轴对齐地追加 K 条新 wire,与原通道零耦合,给原通道乘 √(d/(d+K)) 补偿变宽的归一化分母;绑定词表的 unembedding 用 (+254,−256) 差分对,非触发步位精确相消成 +0.0,底模 logits 一个比特不动。

之上是一个 5 阶段声明式编译器:自动读模型配置和 tokenizer,合成并调度电路,无需人工指定 wire 或层编号。电路只在合法算术模式上激活,答完把下一个 token 的控制权交还底模。

结果

6 位带符号加减乘,N=1200,BF16:

配置算术准确率语言保持
Granite 4.2 3B 底模15.67%PPL 14.30
Granite + 本文99.17%(FP32 sidecar 100%)KL 0.0014;GSM8K 全集 73.16→74.15%
Granite + LoRA(12.8K 样本)42.2%句内续写 0%
Qwen 3.5 4B 底模47.33%PPL 9.47
Qwen + 本文100%KL 0.0007;14/14 非劣效 split 通过
Qwen + LoRA61.7%句内续写 0%

改动量:附加 1.33M/2.39M 个非零权重,不到参数量的 0.06%。11,134 条领域外提示 0 次误触发,最大 logits 扰动恰为 0。消融很干净:把 Mellin 网格换成校准过的单尺度 SwiGLU,算术掉到 8.3%/20.0%;去掉 √(d/(d+K)) 补偿,ARC-C 掉 19 到 54 个百分点。工程上,dense 物化要 13.55/19.09 GiB,因式分解 block-sparse sidecar 压到 7.89/10.65 GiB,2K prefill 最快提速 2.67×,还能与 INT8/INT4 量化叠加。Gemma 4 E4B 上做了 42 层架构审计:KV 共享层嫁接失败(47.9%),未共享层校准后 100%(64/64)。

为什么重要

对气隙、受监管、纯张量推理环境,这是「单 checkpoint 自带确定性计算」的一条可行路径,论文的 Impact Statement 明确指向这类场景。机制层面,它给出了「在带归一化的真实 Transformer 里实现精确数字逻辑」的完整配方,对权重空间编程和可解释性研究是块垫脚石。

更有分量的是安全含义。0 次误触发、KL 偏移不到 0.002 nats 合起来意味着:一个休眠的、输入触发的权重 payload,黑盒行为基准和困惑度评估都看不见。作者据此呼吁对开源权重做白盒结构审计(维度校验、扫描轴对齐块解耦、SHA-256 溯源)。这个警示独立于算术任务本身成立。

也要直说:对多数应用,工具调用仍是更简单的方案。这篇更接近概念验证加方法学贡献,离生产有距离。

局限与存疑

作者自述三条。BPE 失配:早期 1-digit 发射器让 Granite GSM8K 前 60 题从 68.33% 掉到 36.67%,其中 18/19 个回退样本的算术值完全正确,但 token 序列不在预训练分布里,底模把答案抄错(比如把 64 抄成 6.4);换 Base-1000 canonical 发射器才修复到 70%。范围:主布局固定 6 位、不含除法(除法要约 40 层,或 FP32 sidecar 下 8 层做到 100%),无界输入与停机循环超出常数深度 TC0。精度:BF16 进位的形式界只覆盖较小的操作数范围,上段的 1-ULP 稳定是经验观察(约 1% 翻转率),100% 依赖 FP32 sidecar。

读下来还有几点存疑。单一独立作者、无同行评审,全部数字自报,配套脚本只验证常数和浮点实例、不构成定理的机器证明。三个模型家族各自手工推导原语,编译器自动化的是调度,不是跨架构泛化。GSM8K 全集 +0.99 个百分点落在非劣效区间内,说明电路修好了算术却没有带来推理提升。LoRA 基线只训 400 步,是否调优到位没有交代。

术语

原文与代码

相关论文

全部论文解读