Hubble 开源 14 个模型套件，专攻 LLM 记忆化研究

ChrisGPotts · x · 2026-10-23

Chris Potts 感谢 Hubble 项目团队提供实验所用模型套件。Hubble 是一套全开源 LLM，用于科学地研究 LLM 记忆化：包含标准版与受控插入文本（书籍段落、传记、测试集等）的扰动版。核心发布含 8 个模型（1B/8B 参数，预训练 100B/500B tokens），证实记忆风险取决于敏感数据频率与语料规模之比——同一密码在小语料中出现一次比在大语料中记得更牢；另 6 个扰动模型显示不再被持续暴露的敏感数据会被遗忘。由此得出两条最佳实践：扩大语料稀释敏感数据、把敏感数据放在训练早期。