刘子鸣续解大模型 forking 机制与缓解方法
刘子鸣连续发文拆解大模型的「forking」机制:过编码设计(如 DeepSeek V4.1 的 Engram 模块)会让 n-gram 表接管上下文信号,把 logits 切成互不干扰的子空间,表查询供给最终残差流范数的约四分之三。他进一步指出,后训练阶段同样存在数据重放,forking 会在小型代码、数学及 RLVR 风格语料上重现,而冻结 n-gram 表可以缓解这一现象。
2026-10-27 ~ 2026-10-27 · 2 条相关
- 第 1 集:KAN 作者刘子鸣发现 forking 过拟合现象并批评 AutoResearch(2026-10-26,7 条)
- 第 2 集:刘子鸣续解大模型 forking 机制与缓解方法(2026-10-27,2 条)
- 「forking」机制拆解：n-gram 表把 logits 切成互不干扰的子空间 — ZimingLiu11 · 2026-10-27
- 续解 forking：后训练重放同样触发，冻结 n-gram 表可缓解 — ZimingLiu11 · 2026-10-27