Meta 的 GRACE 把广告生成解码延迟降了 11 倍
_reachsumit · x · 2026-08-04
Meta 发布了 GRACE，这是一个面向实时广告检索的生成式 serving 系统。
它加入了 decode-time eligibility filtering 和一系列 kernel 级优化，把 decoder 延迟压低了 11 倍。论文主要解决两个生产问题：一是让生成出来的广告符合定向规则，二是在高吞吐、宽 beam 解码场景下同时控制延迟和 GPU 成本。
「公司和人」频道最新
- 菲尔兹奖得主 Hairer 撰文解释 AGMAI 独立于 OpenAI 的运作方式 — AlexKontorovich · 2026-09-23
- a16z 推出 The Academy：以“学会构建”为核心的新精英学校 — soleio · 2026-09-23
- Horowitz 与 Andreissen 创办新学院：高中毕业生在旧金山学「建造」 — henrymodis · 2026-09-23
- Lemire 将开讲「AI 时代的编程」：并行 agent 编排与上下文管理是核心 — lemire · 2026-09-23
- Lemire 开课教 AI 辅助编程：学生必须解决离开 AI 解不了的问题 — lemire · 2026-09-23
- 用户盛赞 Meta Muse agent:近免费的高质量 AI 颠覆行业定价 — NewYak4281 · 2026-09-23