评测代码库已被 LLM 生成,算力 perplexity 实为模型预测自家代码

DZhang50 · x · 2026-11-14

DZhang50 回应 khoomeik 关于蚂蚁 CE 下降是否源于数据还是算法的讨论,指出一个关键测量污染问题:许多团队在「held-out 内部代码库」上测 code perplexity,而这些代码库现在已被 LLM 生成过——测的其实是模型预测自己代码的能力。

khoomeik 原帖认为,如果不做数据效应消融,「超指数下降」作为算法进步证据的说服力会大打折扣;作者补充同意,并指出即便通过合成数据实现智能爆炸是可能的(类似 RL),那通常也不算「算法进步」的本意。