Strix Halo 一键 Docker 跑 vLLM，Qwen3.8-Flash-Next 解码提速 2.4 倍
asfbrz96 · reddit · 2026-10-31
作者更新其 AMD Strix Halo (gfx1151) 的 libstrix 项目，发布两条重要进展：
一键 Docker 镜像
- ghcr.io/asf0/strix-vllm:latest 打包了 vLLM fork、libstrix 插件与 ROCm 10.1，主机只需 amdgpu 驱动；仓库按模型提供 compose 配置，覆盖 Qwen3.8-Flash-Next、Qwen3.6-35B-A3B、Qwen3.8-27B、LFM2.5-24B-A2B、gemma-4 26B/31B 等多种量化版本，每个配方都实测过。
- 附 131k 上下文下的显存占用表（权重 vs KV cache），如 Qwen3.8-27B Quark int4 仅占 16.8 GiB 权重、可并行 18+ 条全长度请求。
Qwen3.8-Flash-Next 跑通
- 其 102 GB 的 n-gram 表塞不进 128 GB 统一内存，作者用 vLLM fork 从磁盘流式读取并预取到 page cache。
- 新增 int4 MoE GEMM、QSA 稀疏注意力（比 Triton 快约 1.5 倍）、QSA indexer、hyper-connection 投影等内核。
- 实测 5.6k–100k prompt 下 prefill 1540–1620 tok/s、decode 40–43 tok/s，相比之前的 18 tok/s 提升约 2.4 倍；精度上 KLD 0.008–0.019、top-1 一致率 97–98%、GSM8K 93 vs 92。
注意：最近拉过 main 的用户需更新——int8 decode 拷贝曾被误对所有模型开启，可能占 27 GB 内存导致死机，现已限至该模型并封顶 12 GB。
「编程与Agent」频道最新
- 深度解析 Decision Models:Perplexity Decider 训练原理与适用场景 — antoine_chaffin · 2026-10-31
- Epic 推出 open.epic MCP,开发者 agent 可直连医疗接口文档 — DesireeCachette · 2026-10-31
- 开源项目 Open Ontologies:给 AI 知识图谱做 Terraform,0.04 秒推演 901 个隐藏后果 — anselm · 2026-10-31
- Supabase 推出 Explorer 与 Notebooks：日志和数据库统一查询 — dshukertjr · 2026-10-31
- 「2026 年做 Eval 入门」:LLM 应用、Agent、训练系统三类评测拆解 — WolframRvnwlf · 2026-10-31
- Atlassian 重构设计系统为 agentic 和 Claude 原生，代码默认好看 — talkaboutdesign · 2026-10-31