单卡 R9700 跑通 Inkling-2-Mini:196K 上下文、约 110 tok/s
abhinand05 · reddit · 2026-11-22
作者在 AMD R9700(32GB,RDNA4)上移植了 Inkling-2-Mini 的官方 NVFP4/MXFP4 权重到 vLLM(上游仅支持 NVIDIA 和 MI355X),开源为 vllm-redshift 项目。
关键工作与结果:
- RDNA4 无 FP4 硬件支持,作者用 AI 辅助编写内核,在解码时对 4-bit 权重做精确即时解码,权重保持原样不重量化
- 为 Inkling 的注意力机制写定制内核,配合 FP8 KV cache,在 32GB 内塞下模型 1M 上下文中的 196K,支持 2 路并发
- 踩平了 ROCm 的启动开销、系统 ROCm 段错误、空闲 CPU 核 100% 占用等坑
- 实测约 80 tok/s 解码,启用模型自带投机解码后 80-115 tok/s(llama.cpp Q8 仅约 31),prefill 约 4,600 tok/s,tool calling、reasoning、图像输入均可用
作者计划对 Qwen4 等后续模型第一时间做同样移植,并支持 7900 XTX 等 24GB 卡和定制量化。
「编程与Agent」频道最新
- 10 个 Skill 专治 AI 味网页,装进 Claude Code 就能用 — sven_ai · 2026-11-22
- 收录 2256 个 Agent 实战用例的宝藏站,附可直接复制的 Prompt — sven_ai · 2026-11-22
- 迪士尼乐园 MCP Server 上线:可查项目、餐厅与 Lightning Lane 状态 — modelcontextprotocol · 2026-11-22
- Trade Intel MCP 发布:串联贸易三大数据源的复合工具 — modelcontextprotocol · 2026-11-22
- DeepSeek Harness 0.2.3 一次更新 14 项:插件市场、代码审阅、多 Agent 管理 — teortaxesTex · 2026-11-22
- 重度实测 2 天:Google AI Pro 4.99 美元档额度扛不住但值回票价 — lipeng0820 · 2026-11-22