微软工程师揭秘 Maia 加速器:如何每天服务数万亿 token

thoefler · x · 2026-11-12

微软工程师 thoefler 发布论文《How to serve many trillions of tokens per day》,详解微软 AI 加速器 Maia 及其「软件定义数据流」(Software-Defined Dataflow)的系统设计思路,披露支撑超大规模 AI 推理服务的关键架构。

作者还将在 SC26 超算大会微软展位做相关分享,这是了解微软自研芯片体系设计与大规模推理数据流的少有一手资料。

所属事件:微软将揭秘 Maia 加速器:日服务数万亿 token 的软件定义数据流(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →