capy-flash v0.16 用两张 16GB 50 系显卡跑通 Inkling 2 Mini,254k 上下文

FeydRowan · reddit · 2026-11-22

开发者发布了 capy-flash v0.16,为其推理引擎新增 Inkling 2 Mini 支持(此前已支持 Qwen3.8-27B 和 Qwen3.8-Flash-Next),针对两张 16GB Blackwell 卡的张量并行做了优化,Linux 下运行,单张 5090 及 Windows WSL2/Docker 理论可用但未实测。

性能(配图基准,2×RTX 5070 Ti 16GB):

作者计划先测当前性能,再考虑针对性量化提速。代码与权重均已开源。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →