Model Casting：中途换激活函数+L1 稀疏目标，大幅稀疏化 FFN 降 FLOPs
francoisfleuret · x · 2026-09-29
François Fleuret 转发一篇新论文《Model Casting and Low-Parameter Gating: Towards More Sparsely Activated FFNs》，聚焦用极端激活稀疏化降低 FLOPs。
- 提出 model casting 中途训练（mid-training）配方：切换到对负输入输出零的激活函数（R-S+），并用 L1 损失在训练时把目标稀疏度作为约束；
- 配合低参数门控，大幅稀疏化 Transformer 前馈层（FFN）内的激活，从而减少推理计算量。
「Infra」频道最新
- Bittensor 128 个子网中 23 个已盈利,上月 GPU 网络流水 96.4 万美元 — bittingthembits · 2026-09-29
- 换掉矩阵乘法不改参数:结合代数层让 110M 模型吞吐提升 7.8% — Ilya Koziev · 2026-09-29
- Shaw 吐槽反数据中心者:一边骂算力一边上网自相矛盾 — zealcaiden · 2026-09-29
- 模型推演 2030 年十亿 Agent 虚拟机背后的 CPU 需求与芯片商机 — AccBalanced · 2026-09-29
- Tessera 论文：检索驱动 KV 缓存复用，RAG 服务首字延迟降 3.6 倍 — _reachsumit · 2026-09-29
- Venice 代币化推理积分模式遭跟风，供给过剩隐忧浮现 — 0xJeff · 2026-09-29