开源 TensorSharp 首发支持 MiniMax-M3.1-Flash,64K 预_fill 快 9.8 倍
fuzhongkai · reddit · 2026-10-25
TensorSharp(原生 .NET LLM 推理引擎与 agent runtime)开发者宣布在 MiniMax-M3.1-Flash 开放权重发布当天完成支持,并给出在 8×A40、Unsloth UD-Q4KXL GGUF(共 232.3 GiB)上的对比基准:基线为 Unsloth 的 llama.cpp minimax-m31 分支。
关键数据:
- 64K executor prefill:2,567 tok/s vs 262 tok/s(约 9.8 倍);服务端 64K 首 token 从 293.4 秒降至 40.0 秒
- 32K prefill 2,449 vs 681 tok/s;64K decode 22.9 vs 15.4 tok/s;短对话 decode 基本持平(26.3 vs 26.0)
- agent 循环:分层切分 18.1s vs 20.1s,张量并行(--tp 8)进一步到 11.7s,短对话 decode 约 41 tok/s
- 两种引擎多轮复用约 99% prompt,复用轮首 token 0.38s vs 0.41s
提升原因:超过 2048 位后 MiniMax 稀疏注意力每 KV 组选 16 个 128-token 块,TensorSharp 直接打块稀疏 CUDA attention,而所测 llama.cpp 分支用稠密 mask 走稠密 flash attention,计算量随上下文增长;另有多 GPU 流水线。支持 OpenAI 兼容接口、结构化输出、并行工具调用、会话缓存、多 GPU 层切分/张量并行、DSpark 投机解码与 CPU 专家卸载。
所属事件:TensorSharp 首日支持 MiniMax-M3.1-Flash 推理加速近十倍(2 条相关)→
「Infra」频道最新
- AI 算力生意正在重演比特币挖矿：中间层注定吃下折旧与破产 — sebpaquet · 2026-10-25
- 马斯克：SpaceX 超级智能每月上线约 20 万块 GB300，明年转 Rubin — Beth_Kindig · 2026-10-25
- SGLang 集成 DeepSeek 全套内核，预_fill 吞吐最高达 DeepInfer 1.04 倍 — ying11231 · 2026-10-25
- Epoch AI 估算:2027 年前内存芯片最多可支撑 1.71 亿个前沿 AI Agent — PeterDiamandis · 2026-10-25
- AI Studio 百万 token 计数是错觉:作者拆解冷缓存与配额真实消耗 — Former-Aerie6530 · 2026-10-25
- 250 欧捡漏两台魔改 Dell 工作站,配 3090 跑本地大模型值不值 — SlechteConcentratie · 2026-10-25