Strata EXL3 AMD 版提速 10-20%,3bit 量化跑出 4bit 质量
nasone32 · reddit · 2026-11-13
Reddit 用户 nasone32 发布其 Strata EXL3 AMD fork 的更新,针对 HIP kernel 与内存管理做了优化,解码速度较上版本平均提升 10-20%,部分场景接近 24%,并实验性支持 MiMo V2.6 Flash(双卡约 25-30 tok/s,2.20 bpw MOPD 量化)。
作者强调 EXL3 不能按 bpw 与 GGUF 等直接比较:3.05 bpw 的 EXL3 质量大致相当于 IQ4KXS,4.05 bpw 相当于 Q5KM——即以接近 3-bit 的速度获得 4-bit 级质量。新增可选的 expert weights 重排(repacking),将量化后的专家权重整理为更利于 CPU 从内存访问的布局,可加速 CPU 辅助推理;是否启用取决于硬件配置,双卡场景一般不开更好。
测试平台为 Ryzen 9 7950X + 96GB 内存 + 2x RX 7900 XTX(ROCm):3.05 bpw 双卡 CODE 测试达 87.33 tok/s(+11.6%);4.05 bpw 单卡开 CPU 辅助可达 55-60 tok/s,约 Q5KM 质量。32K prefill 基本不变(双卡约 1500 tok/s)。
「Infra」频道最新
- kagent 1.0 GA:用 Agent Substrate 重做 Kubernetes 上的 Agent 运行层 — bibryam · 2026-11-13
- 4张R9700跑DeepSeek与Qwen：作者公开全部调优细节与实测吞吐 — mikoskinen · 2026-11-13
- 瑞典全木数据中心：PUE 1.15，碳排放仅 1.17g CO2/kWh — filwi · 2026-11-13
- 花一个月云服务钱买台迷你主机，把 Agent 全部搬回本地跑 — jiayuan_jy · 2026-11-13
- 从 reform school 刷厕所到 5 万亿美元：黄仁勋六十年编年史 — tibo_maker · 2026-11-13
- 台积电披露遭黑客攻击,已向美国 SEC 提交事件说明 — gmays · 2026-11-13