开源 Marin 535B-A23B 完成 18T tokens 预训练，sconv 架构获 19% 算力效率提升
simonguozirui · x · 2026-11-11
Marin 项目公开 535B-A23B 模型的预训练架构思路，该模型上周完成 18T tokens 预训练。项目年初仅 6 名全职员工，一个月内搭起 B200 GPU 集群，将 GPU 规模扩大 300 倍，公开预测并全程直播训练过程，最终略好于预测完成预训练且零不稳定。
博客中提到的架构贡献引发关注：有开发者转述称其中的 sparse convolution（sconv）带来 19% 的计算效率提升，与其在自己技术栈中观察到的结果相似。
所属事件:Marin 535B 模型完成 18T tokens 预训练并公开架构复盘(3 条相关)→
「Infra」频道最新
- 微软游说特朗普政府保留中国硬件在美国 AI 数据中心 — kevinnbass · 2026-11-11
- WSJ 报道：数据中心建设正在抢走建房与制造业的工人和资源 — RebeccaBellan · 2026-11-11
- AI 竞赛正变成电力与审批竞赛,数据中心成战略基建 — TansuYegen · 2026-11-11
- Route Anything 研究:模型路由平均省钱 8.82 倍,编码任务美元效率达 25.5 倍 — rohanpaul_ai · 2026-11-11
- 特斯拉 Megapack 3 在得州工厂爬产，现场已见 20 余台 — XFreeze · 2026-11-11
- Cloudflare 发布实验方案：在 Workers 上跑 Codex agent 循环，重启可恢复 — dinasaur_404 · 2026-11-11