GLM 5.3 Flash 上线 RunInfra:254 tok/s、百万 token 上下文
alejandroll10 · x · 2026-08-27
推理服务商 RunInfra 第一天上线 GLM 5.3 Flash(zai-org 官方 FP8 版),主打速度、价格与缓存:
- 输出 254.1 tok/s,首 token 703ms;1M token 上下文
- 定价:输入 $0.10/1M、输出 $0.40/1M,缓存输入仅 $0.01/1M,官方实测缓存命中率 86%92%,重复前缀几乎免费
- OpenAI 兼容 API,改 base URL 即可接入;支持工具调用、JSON 模式、流式
- 零数据留存:不存储 prompt、不用于训练
「Infra」频道最新
- Bloomberg 算账:得州 AI 数据中心 1GW 场地建设成本失控 — rohanpaul_ai · 2026-10-15
- 系统设计面试必懂的 7 个分布式算法 — goyalshaliniuk · 2026-10-15
- 面壁 MiniCPM-V 4.7 端侧跑 35B 多模态,仅 3GB 内存、每 token 激活 3B — nevrekaraishwa2 · 2026-10-15
- Sipeed MaixStation 产品页上线，端侧 AI 开发套件来了 — xlltt · 2026-10-15
- 英伟达市值已超过印度整个股市 — theteknosaur · 2026-10-15
- 实测 Apple Silicon GEMM 性能:M6 矩阵单元 fp8 达 fp16 两倍,M5 不支持 — Brilliant-Hall1387 · 2026-10-15