研究发现模型有通用倒计时机制

mlpowered · x · 2026-07-16

这条在说明一项研究发现：作者认为，他们之前靠人工分析找到的机制，在更多任务和模型中都能复现，而且 probing 方法让他们从单个案例扩展到更普遍的理解。

核心结论是，模型里存在一种可泛化的 countdown circuitry：它不仅用于统计推文长度、押韵长度，也能用于处理四舍五入时“剩余位数”等问题。作者进一步指出，这种同一套长度表示还可能出现在更广的场景里，比如 DNA 序列长度或随机字符串长度。