Cerebras部署3T模型需68芯片与1.5MW功耗
zephyr_z9 · x · 2026-08-14
针对长上下文中注意力机制占据主导地位的问题，作者探讨了如何独立扩展注意力机制和 FFN。作者推测，未来系统将更激进地使用上下文压缩技术，并在注意力侧增加更多 Blackwell 芯片。
此外，作者粗略估算了在 Cerebras 架构上部署 3 万亿参数模型（如 Sol）的成本：由于单片 WSE 芯片仅有约 44GB 的 SRAM，承载该模型需要约 68 片芯片。这将导致单副本的托管成本接近 2 亿美元，并消耗约 1.5MW 的电力。
所属事件:Cerebras与Blackwell商用AFD架构(2 条相关)→
「Infra」频道最新
- 用 Agent 自动生成财报研报：Cloudflare 实例揭示 AI 流量拐点 — draecomino · 2026-08-14
- Hugging Face 发布 datatrove 0.10.0：支持 HF Jobs 流水线，无需 Slurm 集群 — vanstriendaniel · 2026-08-14
- 斥资万亿美元搞基建，只为解百万奖金数学题？ — suchenzang · 2026-08-14
- Intel 联手 MiniMax 发布 MXFP4 量化模型，FP4 基准测试登顶 — HaihaoShen · 2026-08-14
- GPU 价格再次暴涨：RTX 6000 Pro 跳涨至 1.5 万 — HankYeomans · 2026-08-14
- 700 欧元组装多卡工作站，本地跑 122B 大模型可行吗？ — whatyathinkk · 2026-08-14