替换 top-k 回退实现，双 3090 跑 Qwen 长上下文解码提速 9–12%
Extension-Bid-639 · reddit · 2026-09-08
作者更新了在双 RTX 3090 上运行 Qwen3 Flash-Next（专家缓存 + MTP）的实测：将稀疏注意力索引器中回退到整行排序的 CUDA top-k 实现，替换为 llama.cpp 已有的 radix-selection 逻辑（对应上游 PR #28366，作者未重复开 PR）。top-k 核单 token 耗时从约 5.1ms 降到 0.25ms。
测试配置：2x RTX 3090、双 Xeon E5-2696 v4、128GB DDR4、UD-Q4KXL 量化、f16 KV、150 个专家缓存槽、MTP-3、分配 261,888 token 上下文，长文档测试起点约 119k token。三个种子的中位解码速度从 30.2–30.4 t/s 提升到 33.1–33.7 t/s，即每种子中位吞吐提升 9–12%。
质量筛查覆盖 80 个问题/深度组合 × 3 种子，共 480 请求、240 组配对比较：对照组 235/240 正确，实验组 238/240，作者认为这只能证明没有质量回退，不能证明质量更好。该改动已进入作者的生产构建；prefill 与关闭 MTP 场景的收益尚未测量。建议使用旧版 CUDA 工具链跑 Flash-Next 的用户检查自己的 top-k 回退路径。
「Infra」频道最新
- 单 GPU 收入可随降价上升：Gavin Baker 拆解 token 价格与利润率的算术 — GavinSBaker · 2026-10-27
- Anthropic S-1 关键数字:成立以来算力支出仅 193 亿美元,算力过度建设警报 — bookwormengr · 2026-10-27
- CoreWeave 三周 RL 后训练:BrowseComp 提升 22.9%,工具调用省三成 — RichardSocher · 2026-10-27
- 电网排队成 AI 工厂瓶颈,Exowatt 与 Redwood 给出储能新解法 — ingliguori · 2026-10-27
- Wasmtime 曝两个 CVSS 9.9 沙箱逃逸漏洞，其中一个仅影响 ARM64 — basedjensen · 2026-10-27
- AI 数据中心时代用电论战：有人还在纠结灯泡省电与调整时区 — mgostIH · 2026-10-27