「LLM 内置 CPU」:零梯度把精确算术电路编译进预训练权重,6 位数运算达 100%

Tanmay Sah · hf · 2026-11-20

论文提出 closed-form、零梯度的 circuit-grafting 方法,把确定性计算直接编译进预训练 LM 权重:零训练样本、零运行时 hook,同时控制每层归一化漂移、不损害自然语言能力。

三个核心机制:

结果:自动化 5 阶段编译器合成 4-8 位带符号加减乘电路(TC^0 常数深度)。6 位算术上 IBM Granite 4.2 3B 达 99.17%、Qwen 3.5 4B 达 100.00% ALU-prefix 准确率(FP32 sidecar 下 100%),句中恢复 98-100%,远超 12.8K 样本 LoRA 的 42.2%/61.7%。块稀疏 sidecar 下 A100 显存仅 7.89/10.65 GiB。布尔、5-bit 多数/奇偶电路均 100% 通过。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →