EM 算法提速组合拳:EMA、余弦调度、自定义死簇复活全用上

chrisemoody · x · 2026-11-11

swannbessa 回应与 thomasahle 的差异时,列出他们为压榨性能而叠加的一整套优化组件:EMA 参数更新、步长的余弦调度、基于 scaling law 的超参选择、自定义的死簇 revival 机制,以及精细的初始化与收尾(finalization)处理。对复现或改进训练/聚类类运行有直接参考价值。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →