GPT-2 内部状态被完整解码
Revolutionary-Lab882 · reddit · 2026-07-14
帖子介绍了一个名为 **BABEL codec** 的项目，声称实现了对生产语言模型（这里是 GPT-2 small）内部状态的**完整、可验证解码**。 项目主张包括： - 可以把模型内部状态“读”成英文； - 也可以把英文“写回”模型内部； - 在测试中约 **94.7% 的行为被重建**； - 结果在不同层深和不同文本场景下都保持一致。 作者强调该项目是开放的，包含论文、完整词典、语法表、编解码权重、复现脚本，以及一个能展示模型“想法”的 demo。帖子还附了 GitHub 链接。