Flint 40B MoE 本地对比 Qwen3.8-27B:同卡实测速度与质量

RichardSocher · x · 2026-10-23

Recursive 的 Flint 模型引发本地部署社区对比测试。用户 nimorotem 在两块相同的 RTX A6000 48GB 上以 8bit 分别运行 Flint 与 Qwen3.8-27B 做同题对照(4bit 更快),并表示已从 Qwen 重度用户转为全用 Flint;另一位用户 jtdavies 指出 40B 的 Flint 应与同量级模型比较,而 Qwen3.6-35B MoE 和 Qwen3.8-27B 都更小。对比站设置:Flint 为 39.8B 总参/2.5B 激活的 MoE,上下文 262K,llama.cpp 运行;Qwen 为 27B dense,vLLM 运行;两者采样参数一致(温度 1.0,top-p 0.95,top-k 20,推理上限 8192)。