墨尔本提案把人审缩到1500字,附录交模型重跑核验

Ignore the Writing: A Proposal for Peer Review in the Age of AI

Vassilis Kostakos

cs.HC, cs.DL

2026-10-28

墨尔本提案要求投稿只留1500字brief给人审,判断值不值得做,不限长附录由模型重跑核验,文章没有给出任何实验数字。

这篇在解决什么

流畅稿件长期充当工作量证明(proof of work):文笔代理思路,周全描述代理方法。写得好曾经很贵,代理才成立。生成式模型把价格打掉后,篇幅几乎免费,学术散文按需生产,文本质量被拉平。写了多少、写得好不好,不再能把好坏分开。

投稿量已经超过人能读完的速度。墨尔本大学的 Vassilis Kostakos 写明终点:模型写论文,模型审论文。文本产出快过阅读,规则得现在定。

定性一边觉得软件会收走定量传统,定量一边觉得模型能把访谈稿收成主题。能自动化的是两边的机械中段。留下的是两端:什么值得研究,解法在真实世界里可不可取。审稿流程唯一熟悉的物件,那份人写长文,正在消失。

方法

投稿拆成 1500 字 brief 加不限长附录。brief 是给人看的短文,只讲想法和它为什么有价值。附录装流程、结果、分析、数据,以及相关工作、讨论和参考文献。

机器学习会议多年实行短页数加不限附录,审稿危机没有减轻。只改长度、不改人拿文本做什么,改革是空的。这份提案动的是标准和分工。

人只读 brief,只有 brief 进入接收判断。三问:值不值得做,做法是否可信,预期收益配不配得上投入。资助机构用这类粗问题用了几十年。论文说模型最不擅长这个。

附录由模型核验:重算统计、重跑代码、重查数据,清单和 brief 并排放到审稿人面前。两道门都过才接收。人看到的是 brief 和一份核对清单。接收本身被定义成策展,会场表态这件事值得做,完整记录仍留在档案里。Nature 与 Science 的先例只说明编辑用短文判断重要性,论文没说它们已经把核验交给模型。

模型读写、扩展、重跑快过人,这是它唯一真正的好处,前提是有奖励函数。这个词借自强化学习,指给行为打分、决定下一步方向的信号,这里由审稿努力充当。想法没有边界,生成和核验都在花有限能源与算力。

结果

没有实验,没有时耗、一致率或漏检率,也没有和现行审稿的量化对照。论文自称挑衅,方案故意欠指定,不引任何文献。全文不到 1500 字,部分由语言模型起草。

环节论文描述的现状提案
人读什么整篇,篇幅和文笔当工作量代理只读 1500 字 brief
人判断什么质量、操作、表达值不值得;做法是否可信;收益是否抵投入
实验记录人浏览方法部分模型重算、重跑、重查,输出清单
接收表示认可戳策展:值得往下做
篇幅先例机器学习会议已是短正文加不限附录短的部分才是人的工作

论文未给出可靠性或成本上的直接对照。能指出的数量只有 1500 字、三问,以及审稿人很可能已经在把二十页的论文喂给模型。周末能超过委员会一轮阅读量,没有给出篇数。

反对意见没有数据。跳过方法的担心,论文称重跑比人扫方法更强,对不上记录就不接收。人把 brief 喂模型,论文认为二十页上已是常态。更主观、模型也能选目标,论文承认这两句都成立:口味常装成严谨,说透才有得争;目标是价值,属于承受后果的人。散文原文进附录。同质化被反过来说:统一的只有短 brief,附录退出文风打分。

为什么重要

缩短篇幅若不改变人在评什么,审稿压力还在。

人的时间从挑语病、对方法凭信任放行,挪到这个方向值不值得继续烧算力,审稿才站到奖励函数的位置。投稿则面对硬门禁:三问里说完卖点,实验记录要能重跑。

提议是结构性的,证据是空的,适合校准讨论,不能直接实施。

局限与存疑

作者写明的边界:几位审稿人读一份 brief、标准如何在人和会场之间校准、谁审计核验模型,都留给测试。不引用、用模型起草,并要求读者忽略文笔。

核验被写成现成能力。不可复现实验、闭源权重、私有数据、人工评估、硬件绑定的结果怎么核,清单与 brief 冲突时谁否决,没有设计。奖励函数没落地,信号是接收、评分、引用还是算力配额,如何喂回写论文的模型,都没定义。

「说透就可争辩」没有审稿实验。显式口味也可能集中到少数资深审稿人和编辑。Nature 与 Science 仍由人读补充材料,支持不到附录不由人看。危机更严重、周末产量超过阅读量,都没有数字。不引用文献,则「用了几十年」「二十页很可能已在喂模型」无法核对。

术语

原文与代码

社区讨论

相关论文

全部论文解读