capy-flash v0.16 用两张 16GB 50 系显卡跑通 Inkling 2 Mini,254k 上下文
FeydRowan · reddit · 2026-11-22
开发者发布了 capy-flash v0.16,为其推理引擎新增 Inkling 2 Mini 支持(此前已支持 Qwen3.8-27B 和 Qwen3.8-Flash-Next),针对两张 16GB Blackwell 卡的张量并行做了优化,Linux 下运行,单张 5090 及 Windows WSL2/Docker 理论可用但未实测。
性能(配图基准,2×RTX 5070 Ti 16GB):
- 聊天解码 149 tok/s,代码解码 194 tok/s,4k 提示词 prefill 5,032 tok/s
- 上下文 254k 全部放进显存:因保持 NVFP4 原始权重与激活不量化、KV cache 也不量化,加上模型的全局注意力,无法到 1M 上下文
- 长上下文衰减明显:250k 时解码降至 53 tok/s,prefill 降至 1,413 tok/s
作者计划先测当前性能,再考虑针对性量化提速。代码与权重均已开源。
「Infra」频道最新
- 26.4B 无审查模型 Inkling 2 Mini 可在 12GB 笔记本本地跑 — udmrzn · 2026-11-22
- M3 Max 本地跑 Inkling 2 Mini 内存从 46.2GB 降到 9.9GB,速度约 29.6 token/s — GabGarrett · 2026-11-22
- 预测:单个任务的训练算力成本可能只有几美分甚至更低 — 1a3orn · 2026-11-22
- Bittensor 矿工「攻击」Chutes 一年,用数百万美元激励锤炼出端到端 TEE — const_reborn · 2026-11-22
- 开发者把 1.5B 模型微调成离线 Linux 命令助手,CPU 上 2 秒出答案 — Arch-r007 · 2026-11-22
- OpenRouter 一个月内曝两起泄露:MiniMax 请求的 prompt 疑被读取 — const_reborn · 2026-11-22