R9700 专用量化提速 5.8%
alphatrad · reddit · 2026-07-18
作者为三张 Radeon AI PRO R9700 调校了专用量化格式 Q80ROCMFPX，目标是在 gfx1201 上比通用 Q8 更快。
结果
- 模型体积比 upstream Q80 小 2.94%
- HumanEval：140/164，与原版打平
- 全模型解码：5.77%–5.87% 更快
- 等工作量测试：中位数 5.82% 更快，17/18 组配对胜出，p=0.000965
- 端到端 agent 总耗时：仅 2.21% 更快，未达到作者预设的 3% 阈值
约束
- 目前不能在 upstream llama.cpp、Ollama、LM Studio、vLLM 上直接跑
- 需要作者锁定的 ROCmFPX fork 和源码编译
- 这套调优主要对 gfx1201 / R9700 有效，对 NVIDIA 或其他 AMD 卡帮助有限
作者还给出了完整实验仓库，表示如果更多人复现并对比 stock Q8，会很有帮助。
「Infra」频道最新
- Tenstorrent 融资 15 亿美元，估值 62 亿较去年翻倍以上 — Beth_Kindig · 2026-10-27
- Anthropic 拟向 SpaceX 采购 1205 亿美元算力,满载后月付约 31 亿 — XFreeze · 2026-10-27
- 恶搞：用 JEV 决策模型替换 Raft 共识，写入吞吐暴跌 99.98% — irombie · 2026-10-27
- Cadence 进入领域专用 AI 模型赛道,芯片设计自动化再加码 — karlfreund · 2026-10-27
- Qdrant 自研 Universal I/O:向量库 mmap 无缝迁移到对象存储 — qdrant_engine · 2026-10-27
- Nebius 获 Citi 35 亿美元融资额度用于 GPU 采购与数据中心 — Beth_Kindig · 2026-10-26