Google DeepMind 研究模型路由:不只看准确率,还看稳定性
burkov · x · 2026-07-21
一篇来自 Google DeepMind 的新论文研究了:当系统要在多个语言模型或 agent 之间路由请求时,怎样判断路由是否真的有意义。
作者提出两个量化指标:一个衡量模型在不同任务上的行为差异,另一个检查在不改变语义的前提下——例如拼写错误、改写、加入无关文本——路由决策是否稳定。实验显示,少于 10 个精心挑选的模型就能保留大部分有用的行为多样性;而近邻路由虽然准确率高,却可能对措辞微小变化非常敏感。基于模型描述的路由在某些场景下准确率略低,但稳定性更好。
所属事件:Google DeepMind 新研究提出模型路由的多样性与稳定性评估指标(2 条相关)→
「研究」频道最新
- AlphaFold 背后是五十年实验数据,纯第一性原理仿真仍需实验 — vishalmisra · 2026-10-26
- Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升 — bneyshabur · 2026-10-26
- 研究者发现「Forking」现象:训练损失下降验证损失反升 — ZimingLiu11 · 2026-10-26
- DeepMind 试点全球首个双盲 AI 评测,密码学隔离防基准污染 — scychan_brains · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26
- FLASH 仿真框架:单卡 RTX 5090 上分钟级学会布料折叠 — ChongZzZhang · 2026-10-26