ZeroGR：先过滤再评分，生成式推荐解码提速最高 9.9 倍
_reachsumit · x · 2026-11-05
- 论文提出 ZeroGR，一个「过滤优先」的生成式推荐约束解码系统。传统流程先生成再评分再过滤，大部分候选序列无效，评分浪费算力；ZeroGR 在打分前先过滤无效 item 序列，几乎不损失推荐质量。
- 关键技术：步级切片过滤索引（step-sliced filtering index）按解码步定制数据表示，降低 GPU 显存占用；共享槽执行引擎与混合投影加速阶段间数据交换；索引刷新时采用布局引导的流式构建，加快更新并减少服务干扰。
- 实验显示，相对代表性基线，过滤+评分流水线最高加速 9.9 倍，同时降低索引显存占用并加速索引重建。
「Infra」频道最新
- X 网页版重写:慢网首帖加载从 22 秒降至 2.7 秒 — soleio · 2026-11-05
- 全 Rust 本地 LLM 套件 LexiSuite 发布，部分场景超越 llama.cpp — W61k3r · 2026-11-05
- Gary Marcus 断言数据中心狂欢将崩塌：多数项目难存活 — GaryMarcus · 2026-11-05
- Merge 实测:自家 MCP 连接器比微软官方版工具更多、报错减半 — shensi · 2026-11-05
- TorchTPU 兼容性实测:4917 个社区模型中 4821 个可正常运行 — jiqizhixin · 2026-11-05
- 富士康剑指全球 AI 服务器市场五成份额,拟占营收 60-65% — Beth_Kindig · 2026-11-05