NaiveAI 万 token/秒模型实测:最快但想得更久、话更多

Latent Space · rss · 2026-11-11

Latent Space 新测评系列首篇,实测 NaiveAI 的 Naive-N0.5-Flash——基于小米 MiMo-V2.5(310B MoE、15B 激活)继续训练约 3.25T tokens、适配 DeepSeek Sparse Attention、主打极速推理的开源权重编码模型。

核心发现

速度:号称 2100 tokens/秒,实测服务端吞吐接近或超过 1000 TPS;中位数端到端 3.1 秒,快于 GLM 5.3 Flash(5.3s)和 DeepSeek V4.1 Flash 1017(10.1s)
代价:开启 thinking 后平均输出约 10.85 万 tokens(HLE 难题),是 GLM 的 9 倍、DeepSeek 的 11 倍;但中位数仅约 3200,少数超长推理拉高均值
基准:编码能力介于两对比模型之间,NL2Repo-Bench 71.9 分领先两者(DeepSeek 68.2、GLM 56.3);DeepSWE v1.1 与 ALE 落后于 DeepSeek
App 实测:同 prompt 建 3D 地球/太阳系、3D 树、光线追踪移植,Naive(thinking) 的太阳系最佳——有太阳黑子和地球夜景灯光
保留意见:样本小(每难度 10 题)、未评答案正确性、吞吐数据来源不同不可直接相比

「编程与Agent」频道最新