语言模型记忆多少：每参数3.6比特阈值
gabriberton · x · 2026-07-03
论文《How much do language models memorize?》指出：LLM 在训练中会持续记忆数据，直到出现饱和；当数据量超过每参数 3.6 比特时达到饱和，此后模型开始压缩→泛化→出现双重下降(double descent)→grokking。给出了记忆转向泛化的量化阈值。
「研究」频道最新
- 谢雅琪加入 UIUC 任助理教授，招募智能体与机器人方向学生 — dhruv2038 · 2026-07-27
- Kimi K3 在网络安全上很强，但 token 效率卡住了评测 — teortaxesTex · 2026-07-27
- ARC AGI 3 应该保持私有，不该公开示例和数据集 — flowersslop · 2026-07-27
- ExploitGym 可能只有六到七成任务可解，引发 OpenAI 作弊争议 — max_paperclips · 2026-07-27
- 5090 本地测试：80k 上下文下 Qwen Q6 速度掉到 15 tok/s — LFAdvice7984 · 2026-07-27
- Chollet 认为智能可能有硬上限，AI 进步会趋于边际递减 — binarybits · 2026-07-27