智谱用 GLM-5.3 智能体自优化推理系统,10万国产芯片上吞吐提升3.2倍
SinclairWang1 · x · 2026-09-17
智谱披露:GLM-5.3-Flash 的全部生产推理已运行在超过 10 万块国产 AI 加速器上,从模型首次跑通到上线生产不到两周,端到端吞吐量提升 3.2 倍——而大量优化工作由 GLM-5.3 驱动的 Infra Agent 完成,即模型在优化运行它自己的系统。
硬约束下的取舍
- 国产加速器显存与互联带宽有限、软件生态不成熟,kernel 缺失、文档靠猜
- 需支持 100 万 token 上下文与多模态请求
- 优化全是交换:计算换显存(ReplaySSM)、通信换显存(节点内张量并行)、精度换容量(INT8/FP8/BF16 混合缓存)、架构分离换调度自由度(编码-预填充-解码分离)
- 最终国产芯片单 token 成本对标主流英伟达 GPU
关键方法:密集反馈
CEO 唐杰总结,智能体卡住几乎从来不是写不出代码,而是不知道"吞吐量下降 20%"出在哪一层——稀疏奖励+信用分配问题,且端到端基准一跑数小时,试错成本极高。智谱把资深工程师的隐性"过程奖励"显性化为分层验证接口:正确性反馈(算对了吗)、系统行为反馈(时间花在哪)、性能反馈(何条件下何方案更优),每类信号要求局部、低成本、可客观验证。
靠这套机制,智能体发现并修复了三个真实工程问题,例如 KDA 内核在上下文并行路径中 TF32 舍入误差随上下文变长不断累积的精度漂移,修复已合并进开源项目 Flash Linear Attention。
所属事件:智谱披露RSI最小闭环：InfraAgent两周上线10万国产卡推理(16 条相关)→
「编程与Agent」频道最新
- 10 个一小时能读完的 agent 开源仓库:百行框架到单文件编码 agent — victor_explore · 2026-11-02
- spaCy 母公司推 NLP 智能体工具 Ellf,个人开发者可免费使用 — _inesmontani · 2026-11-02
- Ellf 推出免费 Solo 计划，面向本地开发的独立开发者 — _inesmontani · 2026-11-02
- DeepSeek Harness 推出 Creator Mode:想法一键变插件 — CurieuxExplorer · 2026-11-02
- Sam Altman:破解 Navier-Stokes 的正是「下一个 GPT」,1 万 agent 跑 4 天 — Hesamation · 2026-11-02
- HF 工程师 agent 用内容定义分块,Parquet 编辑省 99.7% 存储 — lhoestq · 2026-11-02