Fiddler 推出动态模型升级：小模型全量打分，大模型只看不确定样本
hima_lakkaraju · x · 2026-10-17
- Fiddler AI 在其 Centor 评测运行时中推出「动态模型升级」（Dynamic Model Escalation）机制，解决评测 judge 模型的经典两难：大模型打分太贵太慢只能抽样，小模型便宜可全量覆盖但没人知道哪些分数可信。
- 架构上是双模型分工：一个决策模型在热路径上给每条 trace/span 打分（<100ms），输出「判定 + 不确定度分数」；背后的推理模型只接收决策模型主动移交（defer）的低置信样本，用完整推理重新打分。
- 关键洞察是问题不是「选哪个 judge 模型」，而是「judge 何时该承认自己不知道」。移交的样本会反过来成为下一代决策模型的训练数据，系统用自己的 defer 自我调优；推理模型的花费跟随流量的「异常程度」而非流量规模。
- 官方宣称相较外部 LLM 评测成本最多低 98%、100% 全量覆盖无抽样、无外部 API 调用，并支持自带 judge（BYOJ）。
「编程与Agent」频道最新
- Nudge：零微调让小模型用反馈学习决策，RouterBench 提升 14.8% — sockpuppet17263 · 2026-10-17
- IntentGuard 征询反馈：给 AI agent 加安全层防提示注入 — Aayush_P_ · 2026-10-17
- Vercel 用 AI agent 把 tsgo 移植回 TypeScript，tsc-ts 比 tsgo 快 2-4 倍 — cramforce · 2026-10-17
- 一套 Opus 提示词自称值 400 美元/小时动效设计师 — minchoi · 2026-10-17
- Antigen 正式 GA：用自主智能体模拟攻击者，护住关键数据 — Scobleizer · 2026-10-17
- 54 个工具一图打尽:Claude Code 资源圣经含 MCP/Skills/Agent 框架 — nikola_mr64990 · 2026-10-17