新训练法实现低于1bit压缩
BankApprehensive7612 · reddit · 2026-07-17
这条帖子介绍了论文 **Requential Coding**，作者声称研究者通过一种新的教学式训练方法，做到了**低于 1 bit 的压缩**，同时没有明显过拟合或记忆化问题。 核心思路是： - 教师模型从**学生自己的分布**中挑选训练样本。 - 学生模型通过生成样本来训练自己，形成更高密度的信息编码。 - 作者认为这种方法提升了泛化能力，并让现有神经元被更充分地复用。 发帖人还补充了自己的判断：这更像是某种“**重拓扑化**”而不只是压缩，并类比微软此前的 Phi 系列尝试——即先用更小词表/简化知识体系训练，再逐步扩展。 帖子附带了论文和 GitHub 仓库，暗示这是一个可以进一步复现和验证的新方向。