Cerebras部署3T模型需68芯片与1.5MW功耗
zephyr_z9 · x · 2026-08-14
针对长上下文中注意力机制占据主导地位的问题，作者探讨了如何独立扩展注意力机制和 FFN。作者推测，未来系统将更激进地使用上下文压缩技术，并在注意力侧增加更多 Blackwell 芯片。
此外，作者粗略估算了在 Cerebras 架构上部署 3 万亿参数模型（如 Sol）的成本：由于单片 WSE 芯片仅有约 44GB 的 SRAM，承载该模型需要约 68 片芯片。这将导致单副本的托管成本接近 2 亿美元，并消耗约 1.5MW 的电力。
所属事件:Cerebras与Blackwell商用AFD架构(2 条相关)→
「Infra」频道最新
- 用 Void 加 fate 一天搭出完整 vibe coding 平台并部署到 Cloudflare — cnakazawa · 2026-10-16
- 开源 VibeZero:用 agent 一把生成整套可部署的 vibe coding 平台 — cnakazawa · 2026-10-16
- CoreWeave 债务成本大幅下降:DDTL 利差从 S+9.62% 收窄至 S+2.25% — BenBajarin · 2026-10-16
- 软银筹备 SB Energy 与机器人子公司 Roze 美国上市,估值或超 500 亿美元 — nordicinst · 2026-10-16
- TRL 复现 Modal 混合精度 RL 训练：GRPO 150 步崩塌，SC+MIS 稳到 0.72 — QGallouedec · 2026-10-16
- Hugging Face 开源印度语系预训练管线:2.8 万亿 token 数据 — Hugging Face Blog · 2026-10-16