两个 2-4B 小模型实测客服任务:100 分 vs 84 分差在最后一公里
Equivalent-Grass-527 · reddit · 2026-09-16
作者用真实客服场景(查订单、查换货政策、查库存、创建换货、预约取件、回复单号)对比两个小模型,后端真实写库验证,不能靠嘴说完成。最关键的陷阱:最近仓库上海无货,需选 95 公里外的苏州;系统日期为 9 月 9 日,「明天下午」应解析为 9 月 10 日。
- MiniCPM5-2B:完整走通全部 5 步,正确选苏州仓库并预约 2026-09-10 14:00–18:00 取件,数据库确认记录存在。100/100 分,8.35 秒,527 tokens。
- Spark-X2.5-4B:前四步全对,却在最后一步反问用户「希望什么时间段」——尽管默认时段已可用,导致换货已建但取件未约。84/100 分,12.6 秒,1460 tokens。
作者认为差异在「agency 的最后一公里」:一个在信息充分时主动完成工作流,另一个把决策推回给用户,这类缺陷在常规 benchmark 中看不出来。作者还准备了上海补货和超换货窗口两个反事实用例,并倡议以任务完成/数据库状态做端到端 agent 评测。
「编程与Agent」频道最新
- General Reasoning 首发博客:详解如何用强化学习训练 Agent 集群协作 — rosstaylor90 · 2026-11-02
- 开发者指出:编码不再是瓶颈,使用量窗口才是 — kylegawley · 2026-11-02
- demo 通过≠可上线:让 Agent 接管业务前必答的五个问题 — _kellhus · 2026-11-02
- AI agent 通过 100 次测试，为何仍不能接管业务 — djgoel123 · 2026-11-02
- 让 Agent 全权创作:纯代码产出 1 分 44 秒动画短片《最后的园丁》 — ivegotnoidea1 · 2026-11-02
- 起床、用 Claude Code、睡觉：梗图调侃一天全靠它 — tekbog · 2026-11-02