RDNA4 本地推理提速:双 R9700 跑 Qwen3.8 Flash 达 100 tok/s
Public_Umpire_1099 · reddit · 2026-09-14
开发者发布 R9V 项目更新:在两块 R9700 + 128GB 内存的配置上,用 IQ4XS 量化跑 Qwen3.8 Flash Next,文本生成速度达约 100 tok/s;新增 Q4KXL 支持(约 50 tok/s)。
主要修复与改进:
- 通过 n-gram SSD streaming 修复崩溃问题,改善诊断信息,支持固定图像
- 作者进行了约 12 小时压力测试未发现不稳定
- Q4KXL 量化仍需继续调优
作者同时在做推理引擎和一个历时 6 个月的 deep research/建站应用,推送上线后会回归本项目。他还在 Launch80 Discord 分享配置,称社区里其他量化方案已有更好成绩,这套模型不完全驻留显存的配置正接近性能天花板。
「Infra」频道最新
- Cloudflare 不肯做,开发者自研工具实现 Durable Objects 零停机迁出 — samgoodwin89 · 2026-10-30
- 曝一家未具名机构已建成规模化算力借贷专项载体 — matt_slotnick · 2026-10-30
- 开源模型涨价挤压推理商:5 月以来 GPU 回本吞吐要求涨 25-83% — bookwormengr · 2026-10-30
- Sam Altman 称芯片供应链“看不见的手”失灵,DRAM 是关键瓶颈 — SnoozeDoggyDog · 2026-10-30
- MoEShift 让 24GB Mac 跑 125B 模型:7.5GB 内存、10 tok/s — dave-tro · 2026-10-30
- 量子行业去年风投 49 亿美元仅营收 19 亿,四市场全景指南发布 — antavedissian · 2026-10-30