仅需 10-20 个样本，网络自学 2^100 个 LDPC 码字
DimaKrotov · x · 2026-10-26
Dima Krotov 分享的研究结果：Dense Associative Memory 仅用约 10-20 个训练样本，就能学会整个 2^n 规模的 LDPC（低密度奇偶校验）码字空间——理论上只需 log(n) 量级的样本即可掌握全部 2^n 个码字，且训练时完全不提供码字生成算法。
要点：
- LLM 中的 grokking 现象与扩散模型「记忆到泛化」的转变是相关现象：模型从极少量样本中学到数据背后的真实生成过程。
- 自然数据集上难以解析地研究这一现象，而 LDPC 码字生成是精确的数学过程（码字为奇偶校验方程的解），提供了可控的研究载体。
- 配图显示码字数量 k̂ 随训练样本数 P 在 P≈16 处出现急剧相变式跃升，从 16 直接跳到接近 100。
「研究」频道最新
- JockeyBench：用日本赛马评测 LLM Agent 的重复事件预测能力 — Zhongwei Xie · 2026-10-27
- 斯坦福 PaperFormalizer：把论文自动转成 Lean 验证版本 — StanfordUniversity · 2026-10-27
- Cohere 论文：零种子数据生成数据集，质量与多样性双提升 — idanbeck · 2026-10-27
- TRL 异步 GRPO 训练器默认启用 score centering + masked importance sampling — _lewtun · 2026-10-27
- EMNLP 2026 两篇论文：小模型实体追踪超人类、类人短暂记忆研究 — GretaTuckute · 2026-10-27
- 历时十年研究：秘鲁 Tarma 克丘亚语的「反自然」音系限制首获实证 — begusgasper · 2026-10-27