Grammarly 拆解支撑每周 1000 亿次 LLM 请求的推理架构
jefrankle · x · 2026-09-21
Superhuman（Grammarly 旗下）工程师发文详解其 GEC 语法纠错模型的服务架构：4 千万日活用户、每周约 1000 亿次 LLM 请求，如何保持实时延迟并控制成本。
关键要点：
- GEC 是「环境式」AI 功能：不像用户主动触发的请求，红线建议必须瞬时出现，延迟不可妥协。
- 采用内部自建推理 + 外部供应商混合架构，以应对流量峰值和 GPU 短缺等容量约束。
- 系统从小型专用模型流水线（数亿参数级别）演化而来，灵活可扩展但维护成本高。
- 文章面向生产级 LLM 基础设施团队，分享了容量弹性、性能与成本权衡的实践经验。
「Infra」频道最新
- 独立开发者用 Rust 写整套 AI OS：无头运行，跑 Qwen3 27b 比 Ubuntu 快 — W61k3r · 2026-11-12
- OpenRouter 新路由算法见效:GLM 5.3 Flash 首字延迟降 40%、单价降 17% — AccBalanced · 2026-11-12
- AMD 与 Dell 拿下 182 项世界纪录，EPYC 性能提升 94% — AccBalanced · 2026-11-12
- KubeCon 主题演讲：计算系统正从人类速度转向 Agent 速度 — HowDevelop · 2026-11-12
- 曝 Meta 基础设施负责人 Santosh Janardhan 将于 2027 年初离职 — dinabass · 2026-11-12
- 华为开源量化工具 MACaQ：KL 散度比 Unsloth 低 23% — acluk90 · 2026-11-12