「forking」机制拆解：n-gram 表把 logits 切成互不干扰的子空间
ZimingLiu11 · x · 2026-10-27
刘子鸣继续解释 forking 的机制：过编码设计(如 DeepSeek V4.1 的 Engram 模块)让 n-gram 表接管上下文信号，表查询供给最终残差流范数的约 3/4，训练损失随之下降。但这会把 continuation logits 切分成几乎互不交互的子空间，每个上下文对应一个；数据重放时各子空间只锐化见过的、压低没见过的，没有力量拉回，过拟合突然到来。input、V、y 注入等所有过编码设计都会诱发 forking。
所属事件:刘子鸣续解大模型 forking 机制与缓解方法(2 条相关)→
「研究」频道最新
- Qwen3.8-Flash-Next 开源 180B 权重，被视为后门研究理想样本 — jd_pressman · 2026-10-27
- Latent-Foresight:让世界模型学着预判自己的未来 — abursuc · 2026-10-27
- 英国 AISI 发文：现有手段不足以防生物 AI 工具被滥用 — davidmanheim · 2026-10-27
- CMU 发布 XYBench:LLM 只答字面问题,常无视用户真实需求 — valentina__py · 2026-10-27
- arXiv 前主席提示:投稿主分类选错,论文几乎必被搁置 — tdietterich · 2026-10-27
- arXiv 积压超 4000 篇论文被搁置，版主致歉并给出避坑建议 — tdietterich · 2026-10-27