antirez 复现 MIT 论文：LLM 权重里真有可看见的径向模式

antirez · x · 2026-11-04

antirez（redis 作者）表示他不认为 MIT 那篇关于 LLM 能理解/改写权重的论文是坏科学——工作令人印象深刻、值得探索，但他觉得论文最初的测试（游戏识别）过于直白。

于是他自己做了消融实验：对一个「大炮打降落伞」小游戏训练 PPO，结果第一层权重中清晰出现了径向（radial）图案，配图中可见红/黄/绿三个样本的激活热图呈现明显结构。这为「模型内部学到了可解释的空间表征」提供了独立佐证。