提出 TTCA 指标与 LAAR 路由,衡量长文本任务从首次尝试到首个正确答案耗时
burkov · x · 2026-11-03
- 传统延迟指标忽略了一个隐形成本:一个返回很快但答错的请求,用户仍要花时间重试,累积延迟被低估。
- 作者提出 Time-to-Correct-Answer (TTCA):从第一次尝试计时到拿到第一个正确答案为止,并探讨能否通过按「预计准确率 + 预计延迟」双维度路由请求来缩短它。
- 实验设置:5 个模型在 4,000–64,000 token 上下文的键值检索任务上测试,覆盖英语、日语、中文,自动评分。
- 据此构建 Lightweight Accuracy-Aware Routing (LAAR):仅用语言、提示长度等轻量特征估计各模型成功概率与延迟,据此选路,以降低 TTCA。
「研究」频道最新
- 开源 NorthCUA 电脑操作模型发布，Pro 版多项基准超中国大厂旗舰 — Powerful_Evening5495 · 2026-11-03
- 宇树 G1 学会自我脱困，ROOF 强化学习策略无需视觉地图 — Scobleizer · 2026-11-03
- ACM 期刊全面转双盲说法被澄清：TOSEM 暂仍单盲 — mboehme_ · 2026-11-03
- DeepMind 992人RCT：亲密感上升主因是重复使用而非个性化 — Dr_Atoosa · 2026-11-03
- Weight-Space Programming 直接编辑 Qwen 模型，模型与 Demo 已开源 — kalyan_kpl · 2026-11-03
- 从业者发长文：前沿 AI 实验室普遍忽视化学这门口心科学 — gabepgomes · 2026-11-03