华为诺亚提出 Tail-Influence Sampling:策略评估 CVaR 估计误差最高降 76%

huawei-noah · hf · 2026-10-06

华为诺亚实验室发布 Tail-Influence Sampling（TIS），针对强化学习策略评估中的尾部风险估计问题：平均回报相近的策略在罕见失败上可能差异巨大，而准确估计 CVaR 通常需要大量昂贵 rollout。

方法

• 为每个可单独查询的条件分布推导「尾部影响力」，聚合其不确定性对 CVaR 的全部影响；据此设计 oracle Neyman 分配。
• TIS 用 pilot 模型估计影响力，将查询预算重新分配到对尾部最重要的核上；anchor 变体防止 pilot 分配不足。

结果

• 理论上 TIS 达到 oracle 渐近方差，anchor 版不超过 oracle 两倍。
• CliffWalking 上同等预算下 MSE 比学习占用采样降 41%、比完整 rollout 降 76%。
• 冻结语言模型评审工作流中，anchor TIS 在 24 个 MMLU-Pro 设置中 23 个胜出，FinQA 六次调用评审 MSE 比 rollout 低 2.4-3.4 倍。

原文链接 →

「研究」频道最新

• 剑桥团队新研究:流形混合数据上的拉回几何方法 — skoularidou · 2026-10-06
• CMU L3 实验室携 GradAlign 等论文亮相 COLM 2026 — wellecks · 2026-10-06
• LLM 水印统计框架：假设检验视角下可解出最优检测规则 — weijie444 · 2026-10-06
• 4DCodeBench 评测编程 Agent 用代码重建动态 3D 场景的能力 — CSProfKGD · 2026-10-06
• EMNLP 论文：LLM 从规则学新任务比从示例学更可靠 — najoungkim · 2026-10-06
• 新研究发现 Looped Transformer 可对参数知识做隐式推理 — hhsun1 · 2026-10-06

更多「研究」频道 AI 资讯 →