SupraLabs 开源 5M 参数 GatedDeltaNet,2B tokens 数据对标社区模型
LH-Tech_AI · reddit · 2026-09-03
SupraLabs 发布开源模型 SupraGDN-5M，一个仅 5M 参数的 GatedDeltaNet (GDN1) 架构小模型，训练数据仅 2B tokens。
- 核心主张：得益于 GDN 架构的数据效率，其在基准测试上接近其他用远多于 2B tokens 训练的社区小模型
- 模型已在 Hugging Face 开源（SupraLabs/SupraGDN-5M）
- 团队称架构效率还有更大提升空间，并预告后续将推出 Supra3 系列
对研究小模型训练效率与线性注意力类架构的人是一个可复现实验对象，不过 5M 参数的「对标」结论需谨慎看待。
「研究」频道最新
- ICM 对谈上线:顶级数学家聊 AI 与数学的未来 — AlexKontorovich · 2026-09-03
- 哲学家称 Fable 5.1 找出 Arrhenius 不可能性定理并不成立 — willmacaskill · 2026-09-03
- AI 逼数学家反思：我们究竟看重数学的什么 — stevenstrogatz · 2026-09-03
- Caltech 与 NVIDIA 展示用理解物理的 AI 预测极端天气 — AnimaAnandkumar · 2026-09-03
- 智能体语言可跨代传递:少数"创新者"即可改变整个种群 — EliasEskin · 2026-09-03
- 智能体新语言具备形态生产力:可造从未见过的合规新词 — EliasEskin · 2026-09-03