LLM 的统计自一致性研究
AlayaLab · hf · 2026-07-17
这篇工作讨论了大语言模型在**统计自一致性**上的问题：如果把提示词理解为条件分布估计，那么模型输出应满足基本概率恒等式，例如全概率公式。 作者用**二叉树分层划分**人口/子群体，向模型分别询问子群体估计，再把结果聚合回整体，并与直接给整体的估计比较。结果显示，前沿模型普遍违反这些一致性性质。 论文还发现一个现象，作者称之为 **macro fallacy**： - 由更细粒度子群体回答重建出来的整体估计，往往比直接问整体更接近人类参考数据 - 这一效果在不同树结构和不同估计任务中都存在 - 通过隐式提示可以部分缓解 作者据此认为，模型其实掌握相关的子群体知识，但不会稳定地把这些知识传播到宏观层面的聚合判断中；因此，**统计自一致性**可作为一种无需参考答案的评测标准。