可解释性研究者追问:模型何时会学到可读的精确算法

burny_tech · x · 2026-10-27

burnytech 就可解释性论文《When Models Manipulate Manifolds: The Geometry of a Counting Task》提出观点：他更希望看到模型学到类似 toy model 论文中 grokking modular addition 的三角函数算法、或断行检测算法那样相对精确、可读的机制，并追问「这类精确算法在哪里？」言下之意是该计数任务论文展示的流形操控机制仍偏几何直觉，尚缺乏完全可解读的算法级解释。这篇论文（配图所示）发现 LLM 能从纯数字序列中感知文本的视觉属性（行宽、字符数），注意力构建计数流形、QK 层扭转流形以感知行尾、线性边界决定换行溢出。