Ignore the Writing: A Proposal for Peer Review in the Age of AI
Vassilis Kostakos
cs.HC, cs.DL
2026-10-28
墨尔本提案要求投稿只留1500字brief给人审,判断值不值得做,不限长附录由模型重跑核验,文章没有给出任何实验数字。
流畅稿件长期充当工作量证明(proof of work):文笔代理思路,周全描述代理方法。写得好曾经很贵,代理才成立。生成式模型把价格打掉后,篇幅几乎免费,学术散文按需生产,文本质量被拉平。写了多少、写得好不好,不再能把好坏分开。
投稿量已经超过人能读完的速度。墨尔本大学的 Vassilis Kostakos 写明终点:模型写论文,模型审论文。文本产出快过阅读,规则得现在定。
定性一边觉得软件会收走定量传统,定量一边觉得模型能把访谈稿收成主题。能自动化的是两边的机械中段。留下的是两端:什么值得研究,解法在真实世界里可不可取。审稿流程唯一熟悉的物件,那份人写长文,正在消失。
投稿拆成 1500 字 brief 加不限长附录。brief 是给人看的短文,只讲想法和它为什么有价值。附录装流程、结果、分析、数据,以及相关工作、讨论和参考文献。
机器学习会议多年实行短页数加不限附录,审稿危机没有减轻。只改长度、不改人拿文本做什么,改革是空的。这份提案动的是标准和分工。
人只读 brief,只有 brief 进入接收判断。三问:值不值得做,做法是否可信,预期收益配不配得上投入。资助机构用这类粗问题用了几十年。论文说模型最不擅长这个。
附录由模型核验:重算统计、重跑代码、重查数据,清单和 brief 并排放到审稿人面前。两道门都过才接收。人看到的是 brief 和一份核对清单。接收本身被定义成策展,会场表态这件事值得做,完整记录仍留在档案里。Nature 与 Science 的先例只说明编辑用短文判断重要性,论文没说它们已经把核验交给模型。
模型读写、扩展、重跑快过人,这是它唯一真正的好处,前提是有奖励函数。这个词借自强化学习,指给行为打分、决定下一步方向的信号,这里由审稿努力充当。想法没有边界,生成和核验都在花有限能源与算力。
没有实验,没有时耗、一致率或漏检率,也没有和现行审稿的量化对照。论文自称挑衅,方案故意欠指定,不引任何文献。全文不到 1500 字,部分由语言模型起草。
| 环节 | 论文描述的现状 | 提案 |
| 人读什么 | 整篇,篇幅和文笔当工作量代理 | 只读 1500 字 brief |
| 人判断什么 | 质量、操作、表达 | 值不值得;做法是否可信;收益是否抵投入 |
| 实验记录 | 人浏览方法部分 | 模型重算、重跑、重查,输出清单 |
| 接收表示 | 认可戳 | 策展:值得往下做 |
| 篇幅先例 | 机器学习会议已是短正文加不限附录 | 短的部分才是人的工作 |
论文未给出可靠性或成本上的直接对照。能指出的数量只有 1500 字、三问,以及审稿人很可能已经在把二十页的论文喂给模型。周末能超过委员会一轮阅读量,没有给出篇数。
反对意见没有数据。跳过方法的担心,论文称重跑比人扫方法更强,对不上记录就不接收。人把 brief 喂模型,论文认为二十页上已是常态。更主观、模型也能选目标,论文承认这两句都成立:口味常装成严谨,说透才有得争;目标是价值,属于承受后果的人。散文原文进附录。同质化被反过来说:统一的只有短 brief,附录退出文风打分。
缩短篇幅若不改变人在评什么,审稿压力还在。
人的时间从挑语病、对方法凭信任放行,挪到这个方向值不值得继续烧算力,审稿才站到奖励函数的位置。投稿则面对硬门禁:三问里说完卖点,实验记录要能重跑。
提议是结构性的,证据是空的,适合校准讨论,不能直接实施。
作者写明的边界:几位审稿人读一份 brief、标准如何在人和会场之间校准、谁审计核验模型,都留给测试。不引用、用模型起草,并要求读者忽略文笔。
核验被写成现成能力。不可复现实验、闭源权重、私有数据、人工评估、硬件绑定的结果怎么核,清单与 brief 冲突时谁否决,没有设计。奖励函数没落地,信号是接收、评分、引用还是算力配额,如何喂回写论文的模型,都没定义。
「说透就可争辩」没有审稿实验。显式口味也可能集中到少数资深审稿人和编辑。Nature 与 Science 仍由人读补充材料,支持不到附录不由人看。危机更严重、周末产量超过阅读量,都没有数字。不引用文献,则「用了几十年」「二十页很可能已在喂模型」无法核对。