动态稀疏训练:睡眠式剪枝让网络以不到10%突触超越稠密网络
dlevenstein · x · 2026-11-15
dlevenstein 介绍其实验室的 alternates learning 工作:模型交替进行学习与类似睡眠的剪枝和再生,这种「动态稀疏训练」(dynamic sparse training)产生的网络以不到 10% 的突触数量表现优于稠密网络,发展出类似皮层的连接模式,多任务学习能力也更强。作者同时提到其学生 Viggy 和 Huihong 正在申请 PhD,并将出席 NIH BRAIN Initiative 研讨会的「NeuroAI 职业发展」圆桌,讨论预测学习、睡眠与 neuroAI。
所属事件:动态稀疏训练：不到一成突触性能反超稠密网络(2 条相关)→
「漫话AGI」频道最新
- Schmidhuber演讲引热议：开源仅落后前沿AI三到六个月 — SchmidhuberAI · 2026-11-15
- 1938年报纸旧闻引热议：技术恐慌背后是具身体验的漫长流失 — sebpaquet · 2026-11-15
- Google 新团队 AIS 发布 DuoDiscover：内核平均提速 4.09 倍 — VioletNPeng · 2026-11-15
- Ought 设立认知基金:50 万至 500 万美元资助求真工具项目 — NathanpmYoung · 2026-11-15
- 研究者用 AI 检测器 Pangram 先筛论文：AI 写的直接略读 — TuhinChakr · 2026-11-15
- 创始人放话：要建一家由 Agent 运营、服务 Agent、用 Agent 防御的银行 — neal_lathia · 2026-11-15