RunAnywhere 开源 Trainium 推理引擎 TrnRT，单机跑 320B GLM 模型

RunAnywhereAI 团队抱怨 AWS Trainium 芯片对最新开源模型缺乏支持，遂自行用 NKI 编写 megakernel 并开源推理引擎 TrnRT。该引擎可在单台 trn2.48xlarge 实例上服务 320B 参数的 MoE 模型 GLM-5.3-Flash，支持 1M 上下文，吞吐达每分钟 357 万 token。

2026-11-05 ~ 2026-11-05 · 2 条相关

• 开源 TrnRT 引擎在单台 Trainium2 跑 GLM-5.3-Flash,每分钟 357 万 token — ycombinator · 2026-11-05
• 单机 Trainium2 跑 320B GLM 模型：NKI 巨核推理引擎开源 — WildCard727 · 2026-11-05