一线研究者：用 AI 做预训练研究仍需人类精确定义方向

menhguin · x · 2026-10-07

一位从事「文本到权重」（用稀疏 MoE 做预训练方向）研究的开发者分享心得：当前模型仍高度依赖人类给研究方向。他发现必须刻意引导模型的思路、用非常具体精确的语言表述目标，否则模型会塞进十几个看似合理但无实际推进的建议。他还观察到近年没怎么出现灌水式 AI 预训练论文——可能因为预训练门槛刚好高到灌水工厂不愿投入。作者认为 AI 机械上能产出大量高质量研究，但人类判断力仍是关键环节。