博主实测小模型跑 agent 任务:4B 不行,9B 通过 2/5 后转战 12B
draginol · x · 2026-11-08
一位开发者正在系列实测小参数模型能否胜任复杂 agent 任务:他先测试 4B 模型(Ornith),随后表示 9B 版本尚不足以应对长程任务,下一步转向 12B 模型。
从其贴出的评测截图看,9B 模型在 5 项任务中通过 2 项(平均分 0.73,共 40 步):
- 通过:库存缺货处理(0.94)、SaaS 客户流失挽回(0.82,难度 hard)
- 失败:预算风险摘要(0.90 但 benchmark 未通过)、毛利率下滑归因(0.69)、JS 零值序列化编码任务(仅 0.27,因超出硬性操作步数上限 11 而失败)
这一实测说明当前小模型在工具调用、编码类 agent 任务上仍不稳定,尤其容易超出步数限制,需要 12B 及以上规模才有机会胜任。
「编程与Agent」频道最新
- 开源工具 satmux 让机舱 Wi-Fi 提速 4 倍,月成本仅几美元 — steipete · 2026-11-08
- 开源 IV Studio 1.0 发布:本地驱动 ComfyUI 的免费 AI 制片工作室 — itsVariance · 2026-11-08
- 开发者参照 Anthropic wiki 记忆方案,为 agent 集群搭研究 wiki 系统 — teortaxesTex · 2026-11-08
- 纳德拉:Agent 时代商业应用将集体崩塌,只剩数据库 — _AustinCalvert_ · 2026-11-08
- Reddit 开发者求摆脱 Claude 依赖:LLM agnostic 的 agent 栈怎么搭 — DataBeek · 2026-11-08
- RL 环境创业被看好:做金融知识工作,Anthropic 已推 Claude 金融服务包 — himanshustwts · 2026-11-08