实测大小模型路由:小 harness 下决策模型反更贵
yb2698 · x · 2026-10-23
作者实验验证「用决策模型逐轮判断是否把查询路由到更便宜的小模型」这一社区思路:大模型用 Qwen3.5-27B(配 vLLM d3 作决策模型,可路由到 Qwen3.5-9B),harness 分别测试 ipython、Pi、Claude Code 与 Qwen-Code,小模型侧用纯 ipython。实验从 TB-Lite 采样 10 个困难任务,每任务重复 3 次。
所属事件:实测大模型路由小模型省钱:小harness成本反升30%-89%(5 条相关)→
「编程与Agent」频道最新
- Ethan Mollick 出新书:用 Claude 代理数分钟完成过去数小时的图表工作 — rseroter · 2026-10-23
- OpenJet 引擎宣称 Qwen3.8-27B 推理速度达 llama.cpp 1.9 倍 — JeremyCMorgan · 2026-10-23
- 黄仁勋详解 Vera Rubin 代理系统完整架构:NVL72+MGX+CMX+RTX — rohanpaul_ai · 2026-10-23
- 用 Hermes 搭建全自动 SEO 智能体:三个 skill 覆盖关键词到建站 — EXM7777 · 2026-10-23
- 从赛事研究到链上下单:一个「默认需人工批准」的下注 agent 架构复盘 — Dry-Comfortable-2678 · 2026-10-23
- Capy 0.5.0 支持复用 Claude Pro/Max 订阅额度,并新增 OIDC 云端访问 — garrytan · 2026-10-23