TensorSharp 首发支持 MiniMax-M3.1-Flash，64K 预_fill 快 9.8 倍
fuzhongkai · reddit · 2026-10-25
TensorSharp 开发者在 MiniMax-M3.1-Flash 开放权重发布首日完成本地推理支持，并用 8× A40 与 Unsloth llama.cpp minimax-m31 分支做了同权重对比（UD-Q4KXL GGUF，模型共 232.3 GiB）：
- 预填充吞吐：8K/32K/64K 上下文分别 1,699/2,449/2,567 tok/s，是 llama.cpp 分支的 1.3×/3.6×/9.8×；64K 提示的首 token 时间从 293.4 秒降到 40.0 秒。
- 解码提升较小：64K 上下文 22.9 vs 15.4 tok/s（1.49×），短对话几乎持平（26.3 vs 26.0）。差距根源在 MiniMax Sparse Attention：TensorSharp 用专用块稀疏 CUDA kernel，llama.cpp 分支用稠密 mask + dense flash attention，上下文越长差距越大。
- 其他能力：GGUF 推理、图文输入（OpenAI 兼容 API）、JSON/schema 输出、工具调用、多轮 KV-cache 复用、多层 GPU 切分与张量并行（--tp 8 短对话解码达 41 tok/s，llama.cpp 分支不支持）、DSpark 投机解码（置信度门控下 32.3 vs 25.8 tok/s）、MoE 专家 CPU offload（79.7 GiB 留在内存，17.9 vs 13.8 tok/s）。
- 短对话首 token 略差（0.41 秒），仍在改进。
所属事件:TensorSharp 首日支持 MiniMax-M3.1-Flash 推理加速近十倍(2 条相关)→
「Infra」频道最新
- 开源与本地 AI 作为制衡力量的意识正在觉醒 — mjdramstead · 2026-10-25
- OpenClaw 作者上月烧掉 1000 万美元 AI token,Scoble 直呼离谱 — Scobleizer · 2026-10-25
- rakyll 开源 aic:为 AI 开发者打造的 Docker 式隔离运行工具 — rakyll · 2026-10-25
- 客户要求每秒建 1000 个 Git 仓库,Cloudflare 三人团队自研 Git 服务器搞定 — ritakozlov · 2026-10-25
- 清华 KT-FT 让 CPU 参与 MoE 微调计算，吞吐量最高提升 21.2 倍 — jiqizhixin · 2026-10-25
- 西门子联手英伟达打造 AI 驱动工厂，AI 智能体进入自主生产 — emmanuelvivier · 2026-10-25