RX 6700 XT 跑量化小模型:分叉优化后 prefill 近千 tok/s
ireallydontcare00 · reddit · 2026-11-23
作者 fork 了 PolyStrata 推理引擎并针对 Inkling-2-Mini 优化,在 RDNA2 架构的 RX 6700 XT 上使用 UD-IQ4XS 量化版本实测:
- Prefill 速度:2K 上下文 992 tok/s,32K 仍有 780 tok/s,65K 为 628 tok/s
- Decode 速度:短 agent 请求 46.5–49.8 tok/s;16K prompt 后输出 128 token 为 41.0 tok/s
作者称全程无质量损失,代码已开源,欢迎自取。
「Infra」频道最新
- MLX 修一个小 bug,Mac Studio 本地推理提速近 3 倍 — SumitGup · 2026-11-23
- 从业者谈自租 GPU 搭推理:Coop 可行,量化与投机解码仍是玄学 — sloppenheimer · 2026-11-23
- Nvidia 双面叙事:财报创纪录,同时深陷监管调查与治理风波 — emmanuelvivier · 2026-11-23
- Oracle 融资 200 亿美元加码 AI 基建,力撑 OpenAI 大单 — emmanuelvivier · 2026-11-23
- 4 台 DGX Spark 实测:DeepSeek 编码配 Opus 规划更快更好,GLM 尚不胜任 — AIFlow_ML · 2026-11-23
- Thinking Machines 循环模型变体开源:编码表现持平 mini 甚至更优 — SonglinYang4 · 2026-11-23