Notion 揭秘模型路由器 Auto：复用 Elo 评测，成本比单个旗舰模型低 62%-93%
ivanhzhao · x · 2026-10-21
Notion 工程师 ivanhao 分享了构建高效知识工作 agent 的博客文章，核心是其升级版模型路由器 Auto 的评测方法。
要点：
- Notion 重新引入 Elo 评分体系来评估模型：真实知识工作场景复杂混乱，仅靠一个 LLM 当裁判评估另一个模型的输出，无法可靠捕捉这种复杂性。
- 配图显示质量-成本对比：在 20+ 个常见用例样本上，Auto 以最低的单位任务积分（credits）达到接近旗舰模型的质量分——相比 Sol 6.1 省 62% 积分、相比 Opus 5.5 省 87%、相比 Astra 省 93%。
- Auto 本质是根据任务难度动态选择模型的 router，用严谨评测驱动持续改进。
「编程与Agent」频道最新
- 给小企业做 WhatsApp 智能体,难的不是机器人是人工接管 — flavia-f · 2026-10-21
- 内部数据显示:冗余工具描述可浪费 coding agent 77% 的 token — Jazzlike-Form9669 · 2026-10-21
- Agent 与软件公司可共存：门槛不是写好代码而是赢得信任 — andreisavu · 2026-10-21
- 开发者思考：买软件也是在买「决定它如何变好的团队」 — andreisavu · 2026-10-21
- 用户质疑 opencode 即使用本地模型也会上报数据 — Unusual_Principle536 · 2026-10-21
- 开源 CLI 一键测试 MCP 服务器，可扫描工具描述里的隐藏指令 — abhiramreddykalluru · 2026-10-21