Cameron Wolfe 将在 AIE NYC 演讲:高主观任务评测路线图
cwolferesearch · x · 2026-10-12
AI 研究者 Cameron R. Wolfe 宣布将于 10 月 14 日周三 3:20pm 在 AI Engineer NYC 大会(Turing Room)演讲,主题是如何评测主观/开放式任务。
- 核心动机:LLM 评测充满噪声,很难判断分数提升来自模型变好还是方差波动;主观任务没有确定性判分(如字符串匹配),噪声问题更严重。
- 路线图要点(据演讲幻灯片):人为评测是北极星,LLM judge 与 rubric 是高效代理;用校准过的 judge 搭建离线基准;生产监控也是评测工具;多步评测流程为离线评测 → 人工评测 → A/B 测试 → 部署。
- 演讲后作者将公开幻灯片、阅读材料等完整资源。
「研究」频道最新
- NYU 提出鲁棒 MoE 训练 DRMoET,10.3B 模型七任务均值升至 0.6767 — newyorkuniversity · 2026-10-12
- 研究追踪 Massive Activation 生命周期:weight decay 主导其兴衰 — Aimpoint-Digital · 2026-10-12
- SAGE 无监督发现图像显著因子,FFHQ 眼镜探针准确率达 0.950 — Shuang Liang · 2026-10-12
- NVIDIA 提出 ELR:单 checkpoint 循环推理,4 圈提升 7.25 分无单圈税 — nvidia · 2026-10-12
- U-Space：单次前向、免训练的 LLM 不确定性估计新方法 — AdRevolutionary3242 · 2026-10-12
- DeCoPrune 免训练剪枝：少 85% 记忆 token，视频续生成提速 4.14 倍 — XingangP · 2026-10-12