Meta 的 GRACE 把广告生成解码延迟降了 11 倍
_reachsumit · x · 2026-08-04
Meta 发布了 GRACE，这是一个面向实时广告检索的生成式 serving 系统。
它加入了 decode-time eligibility filtering 和一系列 kernel 级优化，把 decoder 延迟压低了 11 倍。论文主要解决两个生产问题：一是让生成出来的广告符合定向规则，二是在高吞吐、宽 beam 解码场景下同时控制延迟和 GPU 成本。
「公司和人」频道最新
- MiniMax高管回顾海螺AI成长史，宣布将推进开源 — VoidAsuka · 2026-08-04
- 黄仁勋：闭源模型其实更便宜，开源的核心价值在于掌控力 — rohanpaul_ai · 2026-08-04
- OpenAI 公开发文称苹果“错了”，引发公司口水战 — apples_jimmy · 2026-08-04
- Numerai 组队做自主量化研究 AI，开放三类岗位 — AndrewCritchPhD · 2026-08-04
- 腾讯 Yuanbao 搜索智能体用混合 OPD 保住通用能力 — _reachsumit · 2026-08-04
- OpenAI 称 Apple 因姓氏混淆发错邮件提起诉讼 — ChrisGPT · 2026-08-04