AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍
jfowers_amd · reddit · 2026-11-19
AMD 员工在 Reddit 分享用新推理栈 Loom 优化 Qwen3.5-4B(Q4KM)的结果,测试平台为 32GB 内存、Radeon 890M(gfx1150)的 Strix Point 笔记本:
- Prefill 提速最高 2.6 倍(32k 时 929 vs 357 tok/s;16k 达 1041 tok/s)
- Decode 提速 1.18–1.47 倍(短提示 31.1 vs 21.7 tok/s;32k 上下文 22.4 tok/s)
- 4 路并发总吞吐 82.3 tok/s,略优于 llama.cpp ROCm/Vulkan
模型卡覆盖 gfx1150、gfx1151(Strix Halo)、gfx1201(Radeon 9700/9070),已发布 HF 模型与 GitHub skills,含快速上手指南。对本地小模型应用的响应速度是实打实的提升。
「Infra」频道最新
- Gridline 发布:微调、蒸馏、批量推理一站搞定,兼容 OpenAI 客户端 — Scobleizer · 2026-11-19
- 昇腾产能测算:明年或产 1920-2160 万颗,瓶颈在存储与封装 — teortaxesTex · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19