RecoGEM:生成式推荐生产级服务系统,千级 QPS 已上线九个月
_reachsumit · x · 2026-11-11
论文介绍 RecoGEM，一套生产级生成式推荐（GR）服务系统。生成式推荐把推荐系统从「给候选打分」转向「自回归生成物品标识」，质量更高但服务难度大增：每次请求都要在延迟关键路径上执行多步解码、探索庞大物品空间，既与现有推荐管线不兼容，也挑战 LLM 服务栈的假设。系统要点：
- 运行时-引擎解耦：候选状态转移、在线产物更新等 GR 特有职责交给专用 runtime；
- 执行引擎利用 GR 序列短、候选量大、步长形状可预测的特点，优化自注意力、候选选择与执行规划；
- 生产验证：已上线 9 个多月，服务数亿用户应用、支持 10+ 个 GR 模型家族，OneModel 生产负载下单实例超 1,000 QPS。
「Infra」频道最新
- 网友提议数据中心建地下：余热融雪、地面还作公园 — MatthewChang · 2026-11-11
- SpaceX 拟在得州 Starbase 建 240 亿美元 AI 数据中心与天然气电厂 — Polymarket · 2026-11-11
- 微软 Auto SR 正式上线 Xbox Ally X,掌机模式支持 1080p 与 120fps — tomwarren · 2026-11-11
- Gemini 4 Carbon 登陆 Databricks,企业文档测试得分 66.7% — matei_zaharia · 2026-11-11
- Anthropic:让 Claude 移植内核，3 天跑通 AMD GPU — scottleibrand · 2026-11-11
- Kimi K3.1 Pro Highspeed 登陆 Bedrock:速度提升 2-3 倍、百万 token 上下文 — AWS ML Blog · 2026-11-11