Strix Halo 本地推理提速:prompt 处理较 Vulkan 快 21–54%
asfbrz96 · reddit · 2026-10-12
开发者在 Strix Halo(Radeon 8060S,128GB 统一内存)上调优 llama.cpp,发布 rdna35-perf 分支(基于 halo-box/strix-llama.cpp,10 个提交,仅 ROCm/HIP):
- Prompt 处理:比 Vulkan 快 21–54%,比原版 ROCm 快 8–174%,上下文越长领先越大(原版 ROCm 的 flash attention 在深上下文衰减严重);128k 下 27B 稠密模型较 stock ROCm 快 174%
- 生成速度:稠密 27B 与 Vulkan 持平,MoE 与 2B 短上下文落后 2–3%,64k 起差距在 1% 以内;较 stock ROCm 快 5–29%
- 质量:KL 散度低于 Vulkan 相对 stock ROCm 的偏差,困惑度不变
测试覆盖 Qwen3.6 35B-A3B(MoE)、Qwen3.8 27B、Qwen3.5 2B,Q80 权重 + q80 KV cache,数据以完整表格给出。
「Infra」频道最新
- 推理成融资新故事:供给永增引发「永久反向拍卖」,价格持续探底 — joecole · 2026-10-12
- 外置光源光模块带火微型 TEC,2028 年或成数亿美元市场 — jwt0625 · 2026-10-12
- 数据中心遭攻击后，Yandex 爬虫流量暴跌 99% — rooftopzen · 2026-10-12
- 单卡 RTX PRO 6000 上 Qwen3.8-27B 位精确投机解码跑到 106 t/s — stargate425 · 2026-10-12
- 传 CXMT 在 HBM 技术取得设计突破，追赶三星与 SK 海力士 — AIFlow_ML · 2026-10-12
- 无问芯穹完成 23 亿元 C 轮融资，累计 43 亿元创国内 AI Infra 新高 — 智东西 · 2026-10-12