特征与电路随规模变清晰？论文：只是指数规模下的缓慢改善

JacobHHilton · x · 2026-10-17

Jacob Hilton 在讨论可解释性研究时回应「特征和电路随规模变清晰」的说法：确实有部分证据，比如 Gurnee & Tegmark 的论文《Language Models Represent Space and Time》（arXiv:2310.02207）在 Figure 2 中展示了 Llama-2 系列模型对地理空间和历史时间的线性表示随规模提升。

但他的判断是：这只是模型规模指数增长下的渐进式改善，并非质变——结合他前一条指出的「88 节点加法电路忠实度仅约 50%」，整体图景是：可解释性并未随能力增长自动跟上，放大模型不会自动让内部机制变得易于理解。