Revolut 自托管 GLM 全账本:56 张 B200,TTFT 从 10 秒压到 1.6 秒
AccBalanced · x · 2026-11-03
Revolut AI 运营负责人 David Abitbol 在 AI Engineer NYC 演讲中完整披露自托管 GLM 服务 2000 名工程师的细节:
- 约 56 张 B200 承载全部 2000 名工程师
- 混合成本约 30 美分/百万 token,账单约为 Anthropic/OpenAI 的 1/10
- 4 月切换后:编码时间改善约 60%,lead time 改善约 70%
- 同样 56 张卡,4 月到 8 月:首 token 延迟从 10 秒+ 降到约 1.6 秒,请求/秒从约 3 升到 7+
- Codex 和 Claude Code 保留为例外
可复制的经验:先设 TTFT 预算(目标 <3 秒,超 5 秒 Slack 就会抱怨);上下文上限 256K(「长上下文是个骗局」);编码场景缓存命中率保持 90%+。对 lead time 优于编码时间的解释:token 不再配给后,工程师把 agent 指向所有任务。
所属事件:Revolut 将 2000 名工程师默认编码模型切至自托管 GLM(5 条相关)→
「编程与Agent」频道最新
- 老手实测:AI 编码前 1-2 个月提速 10-20 倍,复杂度上来后迅速失速 — LadyAshBorg · 2026-11-03
- KAIST ReTrace:拆解计算机操作 Agent 的错误恢复行为,反思与回滚都不靠谱 — kaist-ai · 2026-11-03
- 开发者用 TypeGPU 重写 three.js 钢琴可视化：称 API 顺滑到 Agent 都爱用 — nptacek · 2026-11-03
- AI 蜂群用「神经语」互相通信，神经蜂巢演示走红 — Sauers_ · 2026-11-03
- 网友晒「人机分工」：AI 在 After Effects 里跑脚本，自己去拖地 — ZeroStateReflex · 2026-11-03
- 9 个 GitHub skills 让 Claude 变成真正的工作助手 — nikola_mr64990 · 2026-11-03