SWE-bench 实测:小模型 Inkling 2 Mini 反而比 DeepSeek V4.1 Flash 贵 3-5 倍
hyudryu · reddit · 2026-11-22
Reddit 用户对近期爆火的小模型 Inkling 2 Mini 做了成本向评测。本地运行确实又快又好:2 张 RTX Pro 6000 上 32 路并发编码会话,解码近 4500 tok/s(每路约 140 tok/s)。
但在 SWE-bench 200 题子集、三种 harness(Kimi Code / Deepseek / OMP)上的成本模式很清晰:
- 通过率:Inkling 2 Mini 72.5-73.5%,DeepSeek V4.1 Flash 77.0-80.5%(小模型 solved 更少,符合预期)。
- 调用与 token:Inkling 调用次数约 2 倍(1.67-1.93 万次 vs 8.7-9.4 千次),输入 token 量也大得多(如 Kimi Code 下 14.5 亿 vs 5.3 亿)。
- 成本:按 API 定价,Inkling 每题成本 $23.11-29.88,DeepSeek 仅 $6.11-7.68——小模型反而贵 3-5 倍。
结论:小模型高调用次数+高 token 消耗会吞掉单价优势,按 API 价按任务算账时小模型并不便宜。
「编程与Agent」频道最新
- Walmart 与 Muse 将上线首个 agent-to-agent 智能体商务集成 — AccBalanced · 2026-11-22
- 一个 MCP 服务器接九个科研仓库,缺依赖直接报 NOT_INSTALLED — Emergency-Tutor-7 · 2026-11-22
- Suno 推出音乐视频生成工具,可经 MCP 接入 Grok Bot 全程指挥 — thesoragirls · 2026-11-22
- 零质量损失跑 Strata:调 layer_split 后 CPU 专家未命中率 22% 降至 12% — PathfinderTactician · 2026-11-22
- 跨厂商模型互查:对抗性审查对冲同一厂商的盲区 — craigbalding · 2026-11-22
- Inference Stack 开源一键部署套件:vLLM+LiteLLM+llm-d+Grafana 全家桶 — AccBalanced · 2026-11-22