抛出三年的 LLM 记忆化难题被攻克，研究者欣慰不用自己动手写论文了

BlancheMinerva · x · 2026-10-24

AI 研究者 Blanche Minerva 发帖庆祝一个老问题终于「倒下」：她在 2023 年与 Stella Biderman 等人合著的 arXiv 论文《Emergent and Predictable Memorization in Large Language Models》中，提出了如何在大模型完整训练前、通过低算力试跑的缩放规律来预测哪些序列会被逐字记忆（尤其是含 PII 的敏感数据），并在后续文章中把它列为故意「钓鱼」研究者入场的高价值开放问题。

她坦言当时很少有人接招，颇感失落，并透露自己有条自我规则：如果一个「该有人写篇论文」的问题喊了三年还没人做，她就得自己上——这个问题原定她一有空闲（大概一月）就动手。如今看到 Chris Potts 实验室等人把它解决，她既兴奋又庆幸可以把时间省下来做别的了。