研究者探讨训练优化致大模型自创“承重 Token”现象

tokenbender · x · 2026-08-01

AI 研究者 @tokenbender 针对 LLM 的黑盒行为提出了一项深刻观察：由于模型在训练过程中受到极致的 token 效率优化压力，它们倾向于将特定的短语与庞大的抽象概念强绑定（即所谓的“承重 token”）。

这种将整个抽象空间压缩进极少数词汇的机制，导致模型内部的逻辑联系与人类常识产生脱节。这解释了为什么模型在推理时看似合理，对人类而言却显得难以理解或像是在“生造术语”。作者指出，这一现象在当前的学术讨论中鲜少被提及。