研究实测：同行评审最不可言传，越写清偏好越失真

sanmikoyejo · x · 2026-10-29

Alexander Spangaro 团队（与 Diyi Yang、Sanmi Koyejo、Noah Goodman 等）的论文核心发现：1) 所有被测领域都存在“可言传性鸿沟”，包括数学和编程这类传统上认为可验证的领域；2) 创意写作等定性领域比编程、法律、数学更难言传；3) 最令人意外的是学术同行评审涉及最多不可言传的决策，且该效应在所有解释尝试后依然成立——这对自动化科学发现可能有重要影响；4) 发现一种 Goodhart 定律变体：越努力把偏好写成明确标准，越捕捉不到默会成分；5) 这些效应在排除子领域量化等混淆因素后依然稳健。