单码库跨 5 代芯片,2.3B MoE 混合 Mamba 用不到 1% 算力逼近 Llama-3.2-3B
tri_dao · x · 2026-09-23
开发者 Mayank 预训练了一个 2.3B 参数（激活 360M）的混合 Mamba-2 架构 MoE 模型 Rigel，性能距 Llama-3.2-3B 仅差几个百分点，而预训练 FLOPs 不到后者的 1%。
- 没有专用集群：同一次训练在 H100、A100、V100（甚至 V100）和 TPU v5p/v6e 之间跳转完成，全部基于单一代码库。
- Tri Dao 转发点赞，称 Mayank 付出了巨大工作量，让预训练跑通三代 Nvidia GPU 和两代 TPU，这么小的模型做出这样的效果非常出色。
- 对低资源预训练和异构硬件训练感兴趣的读者可看原帖线程。
所属事件:伯克利发布 2.3B 混合 Mamba MoE 模型，以不到 1% 算力逼近 Llama-3.2-3B(2 条相关)→
「Infra」频道最新
- 微软 SC26 将揭秘 Maia 加速器:日服务数万亿 token 的数据流设计 — thoefler · 2026-11-12
- ClickHouse 收购 Xata 并发布 Managed Postgres,客户超 5000 家 — CShorten30 · 2026-11-12
- 2026 中期选举 41 项数据中心公投 40 项倒向反 AI 建设方 — Acceptable-Offer-518 · 2026-11-12
- KubeCon 前夕 Azure Day：AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12
- CoRL 会场同址开天然气论坛,主题直指 AI 数据中心供电 — carlosdponx · 2026-11-12
- a16z 播客：Mike Volpi 从 Cisco 70+ 并购经验谈 AI 基建周期 — a16z · 2026-11-12