自研引擎 3090 上解码快 llama.cpp 一倍且保持逐 token 一致
Nice_Profession_9078 · reddit · 2026-11-02
Reddit 用户为其 Qwen3.8-27B 引擎（qwen38-megakernel）发布与 llama.cpp 的详细对比。核心发现：投机解码本应无损，但 llama.cpp 仅把 MTP draft 从 4 改为 7，就在 282 道基准题中的 9 道上给出不同贪心答案（8 道可稳定复现）；而该引擎在 0/4/7 drafts 下 token 完全一致，真正做到确定性。
RTX 3090、同一模型文件（unsloth UD-Q4KXL）同一会话的成绩：
- 短提示贪心解码 1.5-2.1 倍：写代码 232.9 vs 110.8 tok/s，迁移计划 158.7 vs 89.8
- 开思考采样：138 vs 73 tok/s（1.9 倍）
- 100K 上下文：109 vs 54 tok/s（2.0 倍）；262K 上下文可全部塞进 24GB 显存，261K 深度仍 66.6 tok/s（llama.cpp q80 缓存约 160K 到顶）
- 双方都关 draft 仍快 7.5%（短提示）到 41%（100K 上下文），说明 attention kernel 本身也更快
- 4 agent 并发：382 vs 137 tok/s（2.8 倍）
- 编辑 11.7K 会话中的历史消息：76ms vs 266ms（3.5 倍）
关键实现：把主推理、lmhead、验证、MTP 补齐、下一轮 draft 全部合并为一个跑在 int8 tensor core 上的持久 kernel——验证 8 个 token 约 29ms，而单 token 需 22ms。完整数字与方法见仓库 BENCHMARKS.md（github: cutlerbenjamin1-cmd/qwen38-megakernel）。
「Infra」频道最新
- Pinokio 推出 Remote：给本地 AI 一键装机的工具补上远程访问能力 — cocktailpeanut · 2026-11-03
- 谷歌财报：营收利润双涨股价却暴跌 10%，市值蒸发 5000 亿美元 — FuSheng_0306 · 2026-11-03
- CI 从 40 分钟提速到 2 分钟，Boardy 分享 20 倍加速实操清单 — garrytan · 2026-11-03
- Applied Compute 18 个月做到 1 亿美元年化，再融 3.5 亿美元 — ypatil125 · 2026-11-03
- Baseten 案例揭秘:Mirendil 用 40 秒权重同步跑前沿 RL,吞吐提升 1.9 倍 — baseten · 2026-11-03
- Altman 在 ADIPEC 谈 AI 瓶颈:原子还是原子,能源是最大挑战 — rohanpaul_ai · 2026-11-03