Reddit 用户为 Strix Halo 手写内核，vLLM 长上下文预填充最高提速 31 倍
asfbrz96 · reddit · 2026-10-29
Reddit 用户 asfbrz96 发布了 libstrix：为 AMD Strix Halo（gfx1151 APU，Radeon 8060S，128GB 统一内存）专门编写的 HIP 内核，以 vLLM 插件形式接入，无需 fork 或修改上游代码。
背景与做法
- 原版 vLLM 在该 APU 上运行很慢（ROCm 内核按 MI300 优化），Qwen3.6-35B-A3B 处理 256k 提示词需超过两小时。
- 插件通过 vLLM 标准插件系统加载，仅在 ROCm + gfx1151 时生效；每个内核只针对特定形状，不匹配时自动回退到 vLLM 原生内核。覆盖 MoE GEMM、attention 预填充与解码、Qwen GDN 层及 int8/int4/MXFP4 线性层。
性能数据（单流，stock → libstrix，tok/s）
- Qwen3.6-35B-A3B bf16：64k 预填充 260 → 2,617（约 10 倍）；256k 预填充从 7,568 秒降至 241 秒（约 31 倍）。
- LFM2.5-24B-A2B：64k 预填充 304 → 3,615。
- gemma-4-26B-A4B AWQ：64k 预填充 138 → 2,225；MXFP4 版本因原基线走慢速模拟路径，提升数字偏大。
- 128k 上下文 + int8 KV 下：Qwen3.6 1,751 tok/s 预填充、26 tok/s 解码。
准确性与限制
- Qwen 模型 KLD 仅 0.001–0.006，与原版 top-1 一致率 97–99%，GSM8K 无显著差异；Gemma-4-26B 漂移较大（KLD 约 0.2）。
- 部分模型的解码速度与原版持平（被替换内核非瓶颈）；仅支持 gfx1151，需与 vLLM 所用 torch/ROCm 版本一致编译。
项目已开源：github.com/asf0/libstrix
「编程与Agent」频道最新
- 一句话 prompt 让 agent 跑偏：写代码前先让 ChatGPT 采访你定规格 — Al_Grigor · 2026-10-29
- 资深工程师自省：同时推进17件事，深度思考能力正被Agent侵蚀 — rudrank · 2026-10-29
- 免费 MCP 服务器让 ChatGPT/Claude 查芯片手册必附页码,可逐行核对 BOM — Winter-Drop-1334 · 2026-10-29
- CTO 用 Agent 重写授权组件，授权商反而付钱求其别开源 — mattpocockuk · 2026-10-29
- Agent 沙箱产品 boat.dev 创单日增长纪录:10万播放、每分钟多笔 Stripe 订单 — zack_overflow · 2026-10-29
- 开发者实测：Cursor $60/月 Grok 档是预算最优组合 — pramodk73 · 2026-10-29