「LLM 内置 CPU」:零梯度把精确算术电路编译进预训练权重,6 位数运算达 100%
Tanmay Sah · hf · 2026-11-20
论文提出 closed-form、零梯度的 circuit-grafting 方法,把确定性计算直接编译进预训练 LM 权重:零训练样本、零运行时 hook,同时控制每层归一化漂移、不损害自然语言能力。
三个核心机制:
- 无 bias SwiGLU/GeGLU 层上的两层 Mellin-GLU 数值积分,把未知 RMSNorm 缩放转化为对数网格上的平移(>250 倍动态范围),带 IEEE 754 误差界
- 跨 token 缩放对消:有符号 Chebyshev Indefinite-RoPE self-sink attention + 无记忆 SiLU 反对称 GatedDeltaNet 位移
- 轴对齐宽度扩展(d→d+K)、Base-1000 BPE 输出与差分绑定 unembedding
结果:自动化 5 阶段编译器合成 4-8 位带符号加减乘电路(TC^0 常数深度)。6 位算术上 IBM Granite 4.2 3B 达 99.17%、Qwen 3.5 4B 达 100.00% ALU-prefix 准确率(FP32 sidecar 下 100%),句中恢复 98-100%,远超 12.8K 样本 LoRA 的 42.2%/61.7%。块稀疏 sidecar 下 A100 显存仅 7.89/10.65 GiB。布尔、5-bit 多数/奇偶电路均 100% 通过。
「模型」频道最新
- OpenAI 扩大 Daybreak 攻防安全模型准入,GPT-6 Astra 蓝队 alpha 扩容 — OpenAIDevs · 2026-11-21
- 开发者盛赞传闻中的 Gemini Carbon:第一次觉得模型面向未来思考 — Signalman23 · 2026-11-21
- Persimmon v0.1 Pro 与 Ultra 版本上线 Playground 并开放 API — gharik · 2026-11-21
- Unsloth 疑似筹备 4 个新模型,HuggingFace 集合已现隐藏条目 — coder543 · 2026-11-21
- 传 Claude 解决广义黎曼猜想:证明超 25 万页 Lean 已开源 — inductionheads · 2026-11-21
- Hume 团队为拟人用户模拟模型从零构建安全框架 — LukeW · 2026-11-21