LLM 免训练写出 355 个权重做 4 位数乘法，比 SOTA 少 4 万倍

lateinteraction · x · 2026-11-07

Tula 的 Braden Hancock 引用 Deepak Singh 的帖子，讨论本周由 lateinteraction 实验室博文开启的「权重空间编程」（weight space programming）新范式：Transformer 难学的 4 位数乘法，LLM 无需训练直接写出仅 355 个权重的解（比 SOTA 少约 40,000 倍），达到近似 100% 准确率。

Hancock 指出，用一组矩阵乘法实现长乘法并不意外，但当下数十亿美元砸在为高效矩阵乘法优化的硬件上，「软件 1.0（传统编程语言）转软件 2.0（权重即代码）」可能带来 4 万倍级加速，且这次的权重由更强的模型直接书写而非训练得到，值得探索还有哪些场景适用。