JetBrains Mellum 2.1 本地实测:12B MoE 可跑 140 tok/s
Shadow_s_Bane · reddit · 2026-10-14
Reddit 用户实测 JetBrains 的 Mellum 2.1(12B 参数、激活 2.5B 的 MoE 编码模型),认为它相当能打:
- 在 M4 Max 16 上全 130K 上下文可跑约 60 tok/s
- 16GB 显存的 GPU(如 9070 XT)上 Q8 量化实测 140 tok/s
- 由于是 MoE 架构,作者估计 8GB/12GB 显存的卡也有望跑到 30-40 tok/s
初步使用感受:能写代码,但更适合搭配一个更大的模型做详细任务规划,让它负责快速执行小任务。
「编程与Agent」频道最新
- Burkov 预言应验:厂商正用 git 历史训练修 bug 的编码模型 — burkov · 2026-10-15
- Cohere 研究:一群小模型协作即可达到前沿级软件工程表现 — Cohere_Labs · 2026-10-15
- 12 个 GitHub 仓库让 Claude Code 更懂项目、并行会话、自动开发闭环 — Roger_M_Taylor · 2026-10-15
- Composio 推出 Instant:让 Agent 自己掏钱包按次付费买工具 — mhdfaran · 2026-10-15
- 开源工具 AgentPlay 把 Claude Code 会话变成可回放时间线 — SimplyAnnisa · 2026-10-15
- 一条 Prompt 复现顶级动效:WebGPU 软体碰撞球完整提示词公开 — dreamwieber · 2026-10-15