动态稀疏训练:仅用不到10%突触,性能反超稠密网络
dlevenstein · x · 2026-11-15
一条介绍动态稀疏训练(dynamic sparse training)研究的推文:该方法让网络在学习过程中交替进行类似睡眠的剪枝与再生,结果用不到 10% 的突触就取得优于稠密网络的性能,还发展出类似大脑皮层的连接基元(cortex-like wiring motifs),并在多任务学习上表现更好。
所属事件:动态稀疏训练：不到一成突触性能反超稠密网络(2 条相关)→
「研究」频道最新
- Google 新团队 AIS 发布 DuoDiscover：内核平均提速 4.09 倍 — VioletNPeng · 2026-11-15
- RL 后训练能否让 LLM 学会组合推理技能？论文入选 NeurIPS 2026 — yifeiwang77 · 2026-11-15
- EmbeddingGemma 2 训练揭秘：分阶段蒸馏 Gemini，嵌入尺寸最低压到 128 — gabriberton · 2026-11-15
- EmbeddingGemma 2 登 HuggingFace 热榜第一，非 LLM 模型罕见霸榜一周 — gabriberton · 2026-11-15
- 上海交大提出 Value as Memory,给机器人策略装上任务进度记忆 — jiqizhixin · 2026-11-15
- Genesis 团队发布 Eden：机器人学习框架，任务构建快 1.6-4 倍 — zhou_xian_ · 2026-11-15