权重空间编程免训练实现四位数乘法,参数量锐减
lateinteraction 实验室的「权重空间编程」(weight space programming)引发热议:无需训练,仅用 355 个权重即可实现四位数乘法,参数量比 SOTA 少约 4 万倍,而这一任务对 transformer 一直很难学习,此前路线包括 CoT 逐步退火和 running-state 方法。Tula 的 Braden Hancock 转发讨论了该成果;willdepue 虽批评相关 MIT 可解释性论文「呈现方式蠢透了」,引发与 aryaman 的争论,但承认很高兴它让更多人关注权重空间编程。
2026-11-06 ~ 2026-11-07 · 3 条相关
- 无需训练仅 355 个权重实现四位数乘法,比 SOTA 少 4 万倍 — willdepue · 2026-11-06
- LLM 免训练写出 355 个权重做 4 位数乘法,比 SOTA 少 4 万倍 — lateinteraction · 2026-11-07
- willdepue 批 MIT 论文呈现方式烂,但仍力挺「权重空间编程」 — aryaman2020 · 2026-11-07