单卡 R9700 跑通 Inkling-2-Mini:196K 上下文、约 110 tok/s

abhinand05 · reddit · 2026-11-22

作者在 AMD R9700(32GB,RDNA4)上移植了 Inkling-2-Mini 的官方 NVFP4/MXFP4 权重到 vLLM(上游仅支持 NVIDIA 和 MI355X),开源为 vllm-redshift 项目。

关键工作与结果:

作者计划对 Qwen4 等后续模型第一时间做同样移植,并支持 7900 XTX 等 24GB 卡和定制量化。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →