Snorkel 前沿数据峰会十场演讲上线，聚焦 agent 评测与奖励作弊
ysu_nlp · x · 2026-10-17
Snorkel AI 的 Frontier Data Summit 演讲视频已全部上线，共十场，来自研究者与工程实践者，主题覆盖前沿 AI 的评测方法：
- agent 评测与 reward hacking；
- 开放 benchmark 建设；
- 真实世界专家判断如何进入评测体系。
讲者阵容包括 François Chollet、Dawn Song、Sanmi Koyejo、Alex Shaw 等研究者与从业者。
「研究」频道最新
- OmniCompass 基准发布：820 视频、1800 小时标注、评测 50 个 MLLM — _akhaliq · 2026-10-17
- FDE-Gym 数据集登上 Hugging Face 热榜,聚焦部署工程师智能体评测 — DeepLethe · 2026-10-17
- semCER 新指标用 LLM 评判字符错误严重度，覆盖 16 种语言 — university-of-rochester · 2026-10-17
- PathFM 用流匹配做轨迹预测，300M 参数超越 TimesFM-3 等大模型 — autogluon · 2026-10-17
- 预训练研究揭示读出层动态：行为时间线或滞后于真实能力获取 — Matteo He · 2026-10-17
- 可解释性研究者：432 参数小模型都看不懂，别指望完全理解大模型 — JacobHHilton · 2026-10-17