两周上线:GLM 智能体自建推理基建,端到端吞吐提升 3.2 倍
jietang · x · 2026-09-17
智谱工程师 jietang 分享:GLM-5.3-Flash 从首次跑通国产加速器到承接全部生产流量只用了两周,端到端吞吐达基线 3.2 倍,主要优化工作由一个由 GLM-5.3 驱动的 Infra Agent 完成——模型帮助优化了承载自己的推理系统。
条件相当受限:内存与互联带宽有限、1M token 上下文、多模态请求、软件栈不成熟(内核缺失、文档靠猜)。官方在博客中列出的取舍包括:
- 用计算换内存(ReplaySSM)
- 用通信换内存(节点内张量并行)
- 用精度换容量(INT8/FP8/BF16 混合缓存)
- 用分离式架构换调度自由(Encode–Prefill–Decode 拆分)
作者强调最关键的方法论不是单个优化技巧,而是给 Agent 搭建密集反馈回路:本地正确性测试、执行 trace、微基准与端到端测量结合,让它能做有针对性的假设验证,而不是只依赖聚合性能指标。作者还提到 Agent 卡住的原因通常另有蹊跷(原文此处被截断)。
所属事件:智谱披露RSI最小闭环：InfraAgent两周上线10万国产卡推理(16 条相关)→
「编程与Agent」频道最新
- YC F26 新秀 Superserve 发布：为每个 Agent 配一台专属云主机 — ycombinator · 2026-11-02
- 10 个一小时能读完的 agent 开源仓库:百行框架到单文件编码 agent — victor_explore · 2026-11-02
- Ellf 推出免费 Solo 计划，面向本地开发的独立开发者 — _inesmontani · 2026-11-02
- DeepSeek Harness 推出 Creator Mode:想法一键变插件 — CurieuxExplorer · 2026-11-02
- Sam Altman:破解 Navier-Stokes 的正是「下一个 GPT」,1 万 agent 跑 4 天 — Hesamation · 2026-11-02
- HF 工程师 agent 用内容定义分块,Parquet 编辑省 99.7% 存储 — lhoestq · 2026-11-02