6,662 次决策实测:专用决策模型 Mammoth-1 均分 80.9%,反超最强小 LLM 约 3 分
pournasserian · reddit · 2026-11-06
作者 pournasserian 在 6 个公开数据集上,用同一套 harness 对 4 个决策模型和 5 个小 LLM 各跑了 6,662 次决策,原始调用、报告与 harness 全部公开。
关键结果:
- Mammoth-1 平均 80.9%,高出最强 LLM 约 3 个百分点
- Banking77 的 77 类意图任务上,Mammoth-1 得 93.0%,最强 LLM 低了 11 分
- 但 prompt injection 任务反转:Qwen3.6 和 Gemma 4 各得 92.9%,Mammoth-1 仅 84.3%
- CLINC 任务上,Laya 把 1,000 条请求中的 781 条判为「超出范围」,实际只有 190 条 truly out of scope——误杀严重
作者坦言 Laya 无法运行 77 选项任务,并讨论了小样本与模型版本对比的局限,询问下一轮该加哪些任务或模型。
「模型」频道最新
- Unsloth 作者将为 Thinking Machines 新模型制作量化版本 — danielhanchen · 2026-11-06
- LLM 空间推理实测依旧拉胯，但跑赢进化优化器证明有泛化 — teortaxesTex · 2026-11-06
- 李添乐预告 Inkling-2 首个版本：更多内容即将到来 — simonguozirui · 2026-11-06
- Thinking Machines 发布 Inkling 2 Small：或成中国之外最强开源权重模型 — ArtificialAnlys · 2026-11-06
- NVIDIA 发布 Mistral Large 4 部署配方：NIM 容器支持 Blackwell FP8/NVFP4 — NVIDIAAI · 2026-11-06
- Inkling 2 Small 上线 Tinker：75 步微调即追平前代最终成绩 — simonguozirui · 2026-11-06