三个小型 MoE 同台实测:Flint 40B 省钱最快,Nemotron 吞吐高却修最久
GapNew4766 · reddit · 2026-10-23
作者用同一套 local agent 流水线横向对比两周内发布的三款小 MoE:Flint 40B-A2.5B、Ornith 1.5 35B-A3B、Nemotron 3.5 Lightning 30B-A3B。任务是单个 prompt 生成 20 秒 Three.js 万圣节连锁反应动画(1000-1700 行、6-9 个文件),Opus 5.5 做规划审校,三个本地 worker 并行写码,全部 Q80 GGUF 跑在 RTX PRO 6000 Blackwell 96GB 上。
关键结果
- Flint 综合最优:7:36 完成、仅需 6 轮修复、Opus 花费 $0.41;Ornith 9:04/14 轮/$0.49;Nemotron 解码和 prefill 纸面最快,却多花 17 分钟在修复上。
- 速度不决定成败:Nemotron 生成约 5 倍 token、请求量翻倍、编辑成功率仅 17%(23 成功/109 失败),反复在同一文件堆多余花括号。
- worker 决定 planner 账单:同一 Opus 同一 prompt,仅换底层模型,花费从 $0.41 涨到 $0.95;Opus 输入输出比 48-76 倍,钱主要花在读 worker 产出而非写码。
- 日志里的怪事:一个 Ornith worker 用字面 ... 覆盖了自己 367 行文件还上报 ok;Flint 的一个 worker 集成阶段把同三个文件读了 23 次什么都不写。
局限:每模型只跑一次未测方差,输出质量未评估,三者都没有一次通过;CUDA 支持是跑前一天才合入的。作者供职于该开源 agent Atomic Agent,文末征集关于子 agent 场景的经验。
所属事件:本地小 MoE 模型实测:省钱、吞吐与修 bug 能力各有取舍(2 条相关)→
「编程与Agent」频道最新
- 一个周末用 AI 做出整套节目动效系统：低精力模式实战 — soleio · 2026-10-23
- Claude Code 上下文面板精细拆解用量,Codex 用户直呼想要 — JeremyNguyenPhD · 2026-10-23
- 零成本 Cloudflare AI 助理教程补课:WAF 限速防密钥泄露刷爆 — sujingshen · 2026-10-23
- 1Password 推出 Agents 平台,让 AI 代理用密码不再裸奔 — pswider · 2026-10-23
- 基于 DeepSeek 的 agent harness 以极低成本登顶 Lean Eval — lukaszkaiser · 2026-10-23
- Qdrant 出 GraphRAG 实战教程:Qdrant 向量+Neo4j 图谱可复现实现 — JeremyCMorgan · 2026-10-23