TWIG 论文:权重即离散决策路径,统一压缩与电路化部署
ITMO · hf · 2026-10-26
ITMO 大学 LEAD Lab 提出 TWIG(Tree-structured Weights with Inherited Gates):把神经网络每个权重表示为一条小离散决策路径的终点——符号、2 的幂移位、零门控、共享表索引;相关权重共享路径上段,每个决策只存一次、应用一次。
三个直接后果:
- 任意训练好的网络都可写成 TWIG;决策取 2 的幂时,权重层几乎全由连线与加法器构成的电路,适合权重在流片时固定的芯片;
- 剪枝、量化、低秩分解、码本与权重共享统一为对同一对象的编辑,单一优化器可同时为整个网络做取舍;
- 选择这些决策可形式化为一个基态问题(ground-state problem),借助成熟求解器优化。
「Infra」频道最新
- 三篇先进封装论文:CoWoS-R 可靠性与 EMIB-T 扩展路径 — jwt0625 · 2026-10-26
- 印度视频团队算账：4090 工作站 vs AI 订阅，约 11 个月回本 — iamthecarguy1234 · 2026-10-26
- Cerebras CS-4 拆解图曝光：晶圆级封装带宽与功率翻倍、元件省一半 — jwt0625 · 2026-10-26
- theo 吐槽 Windows ARM:微软啃不动 20 年技术债 — wateriscoding · 2026-10-26
- TokenSpeed 三层三种语言:C++ 保正确、Rust 提性能、Python 粘合 — zhyncs42 · 2026-10-26
- 投机解码科普:猜错率 30% 也不改输出,一个减法保证答案不变 — anbarth · 2026-10-26