GDN 架构图与大模型训练稳定性研究引热议

社区分享了一张被认为极其清晰的 GDN（Graph Data Network 或相关技术）架构图，有评论称其让人联想到经典架构图。另有推文讨论 arXiv 论文《Small-scale proxies for large-scale Transformer training instabilities》，探讨如何在小规模上复现大模型训练中的不稳定性，重点研究学习率的敏感度问题。

2026-08-28 ~ 2026-08-28 · 2 条相关