研究者提醒:评估 decider 模型必须随机化一切,评测信号易被利用
antoine_chaffin · x · 2026-10-31
antoinechaffin 与 din0s 就 decider 模型评估展开讨论。核心观点:评估 decider 模型时应当对一切随机化——评测中存在大量可被利用的信号,这些信号在真实流量上并不成立。
两人还调侃「研究是个循环」:随着 IR(信息检索)重新变热,学界可能正在一步步重新发现倾向得分(propensity)、反事实学习排序(counterfactual LTR)等旧概念;Chaffin 补充说,不少 decider 模型的工作本质上就是在规避过去几年大家踩过的坑。
所属事件:Mistral 研究员提醒:评测 decider 模型须全面随机化(5 条相关)→
「研究」频道最新
- Anthropic 研究：Claude 自造数据集可诱发更强涌现性失对齐 — EvanHub · 2026-10-31
- DeepMind 仿真 RL 训练:AI 精神科问诊漏报急性风险从 30.5% 降至 12.9% — rohanpaul_ai · 2026-10-31
- 本科生提出 CATT benchmark:补上训练数据归因的评估难题 — TuhinChakr · 2026-10-31
- 两阶段深度学习框架从 MRI 分级检测新生儿脑部病变 — rottoneuro · 2026-10-31
- 皇家学会 AI 数学会议趣谈：arXiv 是新期刊，GitHub 是新 arXiv — coherence · 2026-10-31
- 万级 agent 协作实战:10008 个 agent 组 556 队竞写 Lisp 解释器 — victormustar · 2026-10-31