无需训练仅 355 个权重实现四位数乘法,比 SOTA 少 4 万倍

willdepue · x · 2026-11-06

deepaksinghml 总结的进展:4 位数乘法对 transformer 一直很难学。此前两条路线分别是从 CoT 逐步退火(Deng、Cho 等)和使用 running-sum loss 达到约 100% 准确率。

现在一个 LLM 在不做任何训练的情况下,直接在权重空间写出了 4 位数乘法程序,仅用 355 个权重——比 SOTA 方案少约 40000 倍。willdepue 虽然吐槽 MIT 那篇权重空间编程论文的呈现方式,但也承认它让很多人关注到这个方向,"这真的很酷"。