民间内核让 Qwen3.8-27B 在双 3090 跑出 190 tok/s，约为 llama.cpp 两倍
OhGeeLIVE · reddit · 2026-10-20
开发者发布 Geezuz 内核：基于 L-Forster 的单卡 megakernel（open-jet）分叉，将整个前向传播跑成一个持久 CUDA 内核，并拆分到两张 3090 上经 PCIe 直接同步交换结果。
- 成绩：Q4KM 单请求 190 tok/s，8 并发合计 622 tok/s；60K 上下文单请求 143 tok/s，均约两倍于 llama.cpp 同设置。
- 用模型自带 MTP 头做投机：每轮只需读一次权重，验证 5 个 draft token 成本接近生成 1 个。
- 支持 Q4KQ80 张量核路径、单周期解码 8 请求，附带 OpenAI 兼容服务器（共享 KV 池、前缀缓存）。
- 编译需约 60GB 内存、55 分钟；下一步目标是 8 并发下超过 vLLM（目前落后约 15%）。仓库与全部基准公开。
「编程与Agent」频道最新
- 开源 AI 视频预演工具 CozyClay 获作者背书推荐 — cocktailpeanut · 2026-10-23
- Supabase 一键给应用装 MCP 服务器：ChatGPT/Claude 可直接调用你的应用 — dshukertjr · 2026-10-23
- Grok Bot 配「专属电脑」：浏览器+终端+云端文件系统直接干完任务 — nima_owji · 2026-10-23
- Neon 推出 TanStack AI 官方 AI Gateway 适配器，一个凭据调用多家模型 — matei_zaharia · 2026-10-23
- Reflection AI 演示 Beam 接入 opencode,自动微调 Gemma-4 准确率提升 66.5% — danielhanchen · 2026-10-23
- Cua 推出 Spaces SDK：让 Hermes 等 Agent 跑在你自己的电脑沙箱里 — Teknium · 2026-10-23