仅凭三个变量即可预测大模型逐字记忆,AUC 最高达 0.94
ChrisGPotts · x · 2026-10-23
Chris Potts 团队在 Hubble 模型套件上的实验进展回应了「Don't just Fix it in Post」论文提出的开放问题:能否在不训练完整模型的情况下预测哪些序列会被大模型逐字记住?
答案是基本可以,且只需三个变量:
- 频率(该字符串在数据中出现的次数)
- 新近度(距最后一次出现的训练步数)
- 难度(从未见过该字符串的模型上的 NLL)
用这三个特征的线性模型预测逐字抽取,跨 1B/8B 参数、100B/500B token 的多种配置,AUC-ROC 达 0.82–0.94;其中频率与新近度贡献最大(各自单独 0.81–0.93),难度几乎无预测力(0.51–0.55)。这对训练数据去重与隐私风险评估有直接意义。
所属事件:斯坦福：三个变量即可预测大模型逐字记忆(2 条相关)→
「研究」频道最新
- Google 发布 PLE 基准:最强 agent 做工程交付仅得 50.6 分 — dair_ai · 2026-10-24
- 「LLM 是镜子但表现更好」：数学家谈与 AI 对话的独特价值 — fortnow · 2026-10-24
- 「没人再为好结果惊艳」：数学家认为用 AI 冲定理没有学习价值 — fortnow · 2026-10-24
- 「成果几乎从不是答案」：用 AI 做数学，想法是谁的要坦白 — fortnow · 2026-10-24
- 数学家 Calegari 演示用 Claude 协作研究数学、一个 prompt 生成幻灯片 — fortnow · 2026-10-24
- 量化模型「幻觉」出提示注入：海盗分金谜题与凭空捏造的 Windows 攻击 — Consumerbot37427 · 2026-10-24