GLM 5.3 Flash 重写内核上线 RunInfra:670 tok/s、缓存命中率 99.7%
ycombinator · x · 2026-10-01
RunInfra 宣布重写了 GLM 5.3 Flash 背后的推理内核,正式上线 major release,并在 Vercel AI Gateway 跑出 670 tok/s 的速度。
- 价格:输入 $0.11 / 1M tokens,输出 $0.45 / 1M tokens,缓存命中仅 $0.03 / 1M
- 上下文:1M token,FP8 vendor-native 版本
- 硬件:现已支持 AMD GPU,同一模型同一 API,扩了更多算力
- 缓存表现:过去 24 小时缓存命中率 99.7%,dashboard 可查每次命中/未命中日志
- 兼容性:同时提供 OpenAI 兼容 chat completions 和 Anthropic 兼容 /v1/messages 接口,支持图文输入、工具调用、JSON mode、流式输出
- 隐私:零数据保留,不用于训练
「Infra」频道最新
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16
- 16GB 显卡本地跑通全套 AI:生图作曲配音视频加 RAG 问答 — llama-of-death · 2026-11-16
- Starlink 在希腊护火车防追尾:134 台机车定位精度达 5 厘米 — XFreeze · 2026-11-16
- Google 将 Agent Substrate、gVisor、OpenRL 捐给 CNCF,Agent 运行底座 1.0 GA — dl_weekly · 2026-11-16
- 英伟达丑闻未完:黄仁勋的千亿美元权力网成焦点 — The Verge AI · 2026-11-16