RX 6700 XT 跑量化小模型:分叉优化后 prefill 近千 tok/s

ireallydontcare00 · reddit · 2026-11-23

作者 fork 了 PolyStrata 推理引擎并针对 Inkling-2-Mini 优化,在 RDNA2 架构的 RX 6700 XT 上使用 UD-IQ4XS 量化版本实测:

作者称全程无质量损失,代码已开源,欢迎自取。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →