Swift-1.5-Qwen3.8-27B 移植 hipfire：7900 XT 上端到端快 2.2 倍
Queasy_Asparagus69 · reddit · 2026-10-23
作者把 Qwen3.8-27B 的 Swift-1.5 微调版量化为 hipfire 的 MQ4 格式，并捆绑 MTP 头做投机解码，专供 AMD 显卡用户获得比 llama.cpp 更快的速度。
实测数据（RX 7900 XT 20GB、ROCm 7.1，对比 Q4KS GGUF）：
- Prefill 快 1.4–1.85 倍，16K 上下文约 1100 tok/s（llama.cpp 约 700）
- 解码：真实 prompt 下 36.5 tok/s（带 MTP），16–49K 上下文 52–59 tok/s
- 六个 10–20K token 的 Rust 编码任务全套耗时 237 秒 vs 530 秒，端到端快 2.24 倍
- 8K 上下文约占 17.5 GB 显存；推荐日常用 49K+MTP；更长上下文可卸载到内存（62K 带 MTP、124K 不带已验证），但解码降至 16–31 tok/s
注意： 需 hipfire 运行时 v0.4.2.1+，llama.cpp 无法加载 .mq4 文件；目前仅在 gfx1100/7900 XT 上验证。作者还指出未微调的基座 Qwen3.8-27B 在 hipfire 上端到端反而略快——Swift 的卖点是「早做决断不过度思考」，而非纯速度。模型卡与运行命令见 HF 链接。
「Infra」频道最新
- 仅 8% 云厂商支持 OIDC,开发者呼吁彻底告别长期 API 密钥 — cramforce · 2026-10-23
- Intel CTO：芯片产能最多翻倍，追不上 AI 算力每年 3 倍增速 — SammaVaco · 2026-10-23
- 工程师拆解投影电视唤醒慢根因：双 Linux 板冷启动拖慢 10 秒 — banteg · 2026-10-23
- Ollama CEO 称企业级 AI 正迎来它的 PC 时刻 — ollama · 2026-10-23
- Modal 开源 Spindle：Tinker 兼容自托管训练服务器，按 GPU 计费替代按 token 计费 — josh_wills · 2026-10-23
- Aleph Alpha 拆解 RL 环境基建踩坑:GPU 停摆、磁盘爆满、沙箱崩溃被记为答错 — _ScottCondron · 2026-10-23