智谱GLM-5.3-FlashX上线:10万张国产芯片上的Agent自建推理Infra
赛博禅心 · wechat · 2026-09-18
智谱推出GLM-5.3-FlashX,推理速度最高200 tokens/s,较GLM-5.3-Flash提速5倍、提价2.5倍,API同步开放。算力基础为10万张国产芯片。
更值得注意的是这套推理Infra由GLM-5.3驱动的Agent构建:人只负责定目标、设边界、搭反馈环境和审核关键修改,测试、日志、Trace、微基准全部交给Agent自主排查,前后不到两周,端到端吞吐做到初始基线的3倍。文中给出三个Agent自主修Infra的案例:
- FP32输入却用TF32计算:KDA CP路径长上下文精度偏差,Agent定位到两处tl.dot默认TF32,显式改用inputprecision="tf32x3",修复已合入FlashLinearAttention上游。
- KVTransfer被GIL卡死:Prefill加传输后性能差距超20%(要求<5%),Agent查Trace发现DeepEP v1.2.1两处C++调用未释放GIL,Python传输线程拿不到锁;修复后差距降到1%以内。
- KDA Decode重复计算:沿V维度分块导致同一组FP32归一化和门控计算重复四遍,Agent合并分块到同一线程块共享中间结果,算子性能提升至1.71倍。
整个闭环的核心是「稠密反馈」:局部验证通过后放回完整服务验收,Agent自己查问题、改代码、跑实验。
所属事件:智谱披露RSI最小闭环:InfraAgent两周上线10万国产卡推理(16 条相关)→
「编程与Agent」频道最新
- HF 工程师 agent 用内容定义分块,Parquet 编辑省 99.7% 存储 — lhoestq · 2026-11-02
- 开发者用 Rust 1:1 复刻 Super Auto Pets,要训出游戏版 Stockfish — jaivin · 2026-11-02
- 九种手绘状态图走红,每张都经 statechart skill 校验 — DavidKPiano · 2026-11-02
- Stardock CEO 展示工作流:晨间崩溃报告自动交给 Agent 出修复方案 — draginol · 2026-11-02
- Langflow 曝两个 9.8 分严重漏洞:无需登录即可远程执行代码 — jedisct1 · 2026-11-02
- 聊天历史不等于长期记忆:Spring AI 中的分层设计 — therealdanvega · 2026-11-02