POSTECH 论文:权重空间编程弃用 Transformer,参数省 680 倍、推理快 17 倍
CatAstro_Piyush · x · 2026-11-17
POSTECH 的 Hyunjong Ok 与 Jaeho Lee 提出权重空间编程不该默认用 Transformer:当 LLM 直接写网络权重(无梯度训练)时,用基于联想记忆的 0/1 事实表加规则架构,每行存一个事实,远比稠密权重高效。在 ARC 基准上,同等精度下参数比同一 LLM 写出的最佳 Transformer 少约 680-1800 倍;配合为表结构定制的内存架构,GPU 推理最高快 17 倍。论文与代码已公开。
「研究」频道最新
- 研究观点:算力有限时缩小实验规模产出更多 — willcb · 2026-11-17
- Claude Opus 在细胞药物理解榜单仅得 0.001,JUMP-CP 排行榜上线 — gklambauer · 2026-11-17
- 语言模型当道,传统深度学习还有没有未来? — Dapper_Chance_2484 · 2026-11-17
- AI 改造制药的四层推演:从提效到千人千方的虚拟试验 — TikorDuro · 2026-11-17
- MIT 研究者做出实时 LLM 向量干预工具,写作过程变多人协作 — RileyRalmuto · 2026-11-17
- ICLR 2027 名场面:AI 评审互看不到,作者干脆叮嘱 ChatGPT 别参考其他 AI 意见 — tak3sh8 · 2026-11-17