学界提议用「挑战赛+共享评测」取代灌水会议论文
micoolcho · x · 2026-10-01
针对当前 AI 论文灌水问题,phamblnh 提议:与其开会议收论文,不如做挑战赛——围绕大挑战提交论文,所有投稿共用一套共享评测,沿用历史上的挑战与奖金机制,可能由社区共同出资出评测。能胜出的论文就是「在所有人的评测上赢」的那篇;如果社区连挑战本身都达不成共识,那这个问题也许就不该解。会议挑战赛组织者 micoolcho 表示认同,认为这类挑战本质上就是真实世界的 eval,也是他们组织会议挑战赛的原因。
「研究」频道最新
- OSWorld-Science 基准发布：146 个任务考问 VLM 科学软件操作 — SciAILab · 2026-10-01
- Attention 机制演化综述：59 个模型记录揭示「上下文记忆」成设计核心 — Zhentao Tan · 2026-10-01
- 系统提示词里藏了日期：9 个 LLM 评测成绩随日期波动最高 14% — Mario Sanz-Guerrero · 2026-10-01
- CheatBench 基准发布：量化 AI 智能体何时选择作弊 — cais · 2026-10-01
- KLS 猜想部分攻克:arXiv 论文核心思路由 AI 生成 — burny_tech · 2026-10-01
- 牛顿法求解开普勒方程:好、坏与丑的三种结局 — burny_tech · 2026-10-01