开源 TrnRT:在 AWS Trainium 上跑 GLM-5.3,单机每分钟 357 万 token
sanchitmonga22 · hn · 2026-11-18
RunAnywhere(YC W26)开源了面向 AWS Trainium 的 LLM 推理引擎 TrnRT,三周开发即在 trn2.48xlarge 上跑通 GLM-5.3 flash(FP8)。要点:
- 单机 serving 两个 GLM-5.3 flash 实例(8 卡 trn2),带缓存感知路由;SemiAnalysis AgentX 基准实测 3.57M TPM
- 单机 32 个 agent、并发 12 下达 28.9 RPM;16 agent 缓存命中时 P50 TTFT 约 1.24 秒,解码 35.9 tps
- 技术上每层半用单个 NKI kernel 做解码,11 层稀疏注意力将两个块融合进一个 kernel
- 动机:trn2.48xlarge 的每 TB 内存成本不到 8x H200 的一半,适合 GLM-5.3 这类 1M 上下文的大 MoE;而 AWS 自家 vLLM Neuron 不支持 GLM,NxDI 已停止开发,SGLang 的 Neuron 实现也已下线
「编程与Agent」频道最新
- Walmart 与 Muse 将上线首个 agent-to-agent 智能体商务集成 — AccBalanced · 2026-11-22
- 一个 MCP 服务器接九个科研仓库,缺依赖直接报 NOT_INSTALLED — Emergency-Tutor-7 · 2026-11-22
- Suno 推出音乐视频生成工具,可经 MCP 接入 Grok Bot 全程指挥 — thesoragirls · 2026-11-22
- 零质量损失跑 Strata:调 layer_split 后 CPU 专家未命中率 22% 降至 12% — PathfinderTactician · 2026-11-22
- 跨厂商模型互查:对抗性审查对冲同一厂商的盲区 — craigbalding · 2026-11-22
- Inference Stack 开源一键部署套件:vLLM+LiteLLM+llm-d+Grafana 全家桶 — AccBalanced · 2026-11-22