数学漂亮但无用:一篇变分推断论文教会作者的 scaling 教训
RylanSchaeffer · x · 2026-10-20
Schaeffer 回顾自己写过的三篇关于贝叶斯非参数模型流式变分推断的论文(与 Weiwei Pan、Blake Bordelon、Yilun Du 等合作)。他选题是希望这类模型能调和联想学习中的古怪行为发现与记忆印迹研究,但结局是「数学很漂亮,模型在深度学习面前毫无用处」。他总结的教训:不能 scale 的精巧方法,敌不过能 scale 的简单方法。配图展示动力学中国餐馆过程在四种不同动力学下的解析递推与蒙特卡洛采样对比。
「研究」频道最新
- AI 揭穿阴谋论研究风波落幕：Science 撤回关注声明，结论不变 — DG_Rand · 2026-10-23
- Embodied First Exam：一行代码在 44 台机器人上考你的 Agent — ManlingLi_ · 2026-10-23
- Anima Anandkumar 演讲：AI 气象模型胜超算，但不会取代科学家 — AnimaAnandkumar · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- 作者用布尔逻辑造 LM:前向传播单线程仅需几微秒但训练极慢 — cephaloform · 2026-10-23
- AdaDex:几秒人手视频即可教灵巧手学会抓取、抛接等可泛化技能 — mangahomanga · 2026-10-23