开源 TrnRT 引擎在单台 Trainium2 跑 GLM-5.3-Flash,每分钟 357 万 token
ycombinator · x · 2026-11-05
RunAnywhereAI 团队抱怨 AWS Trainium 对最新开源模型「零支持」,于是自行编写 megakernel 并开源了 Trainium 推理引擎 TrnRT。
核心成绩:在单台 Trainium2 服务器(TRN2.48XLARGE)上运行智谱 320B 的 GLM-5.3-Flash,达到 357 万 token/分钟,decode step 从 32.2ms 优化到 24.2ms(内存下限 6.1ms),数据来自 SemiAnalysis AgentX 的真实 coding agent 流量测试。
背景是 Anthropic 押注最高 5GW 的 AWS Trainium 算力,以及 AWS 的 Andy Jassy 宣布 TorchNeuron 让 PyTorch 代码一行配置即可原生跑在 Trainium 上——开源社区正在补齐这条芯片生态的推理短板。
所属事件:RunAnywhere 开源 Trainium 推理引擎 TrnRT，单机跑 320B GLM 模型(2 条相关)→
「编程与Agent」频道最新
- Spring 之父 Rod Johnson 推出 Embabel Worlds:让 AI 自动构建知识图谱 — springrod · 2026-11-05
- 用 Claude Code + Opus 剪视频全流程:一次拍摄出 17 种特效 — aakashgupta · 2026-11-05
- Claude Code 变身剪辑师:一条命令自动切镜头加字幕 — aakashgupta · 2026-11-05
- Weaviate 播客：智能体记忆过多会停滞，遗忘让优化器重启探索 — CShorten30 · 2026-11-05
- dots 团队招人：组建持久化 agent 领域最强阵容 — sherwinwu · 2026-11-05
- 用基础设施即代码管理 Agent 监控工作流的新主张 — JoshPurtell · 2026-11-05