工程师驳 engram 数据重复过拟合新论:只是普通过拟合
teortaxesTex · x · 2026-10-11
推主 giffmana 回应「engram/n-gram 在数据重复下会显著放大过拟合」的说法,认为这并非什么新现象,就是普通的过拟合。他解释:当 epoch 边界清晰而非互相混洗时就会出现这种形态,且并非 engram 特有,而是取决于过参数化程度——engram 只是让过拟合更容易、更廉价地出现,MoE 等架构也一样。他还指出过拟合未必是坏事,取决于后续计划。
所属事件:engram 数据重复过拟合引热议(2 条相关)→
「模型」频道最新
- 推荐系统圈调侃数据重复放大过拟合：所以我们只训一个 epoch — thomasahle · 2026-10-11
- 为什么你爱听新观点？LLM 的「引用奖励」机制暗合人性 — sanderssays · 2026-10-11
- 微软宣称 80ms 的决策模型实测 300ms，输给开源对手 — DotaMate · 2026-10-11
- Qwen、Kimi、GLM 已弃用全注意力，8 种注意力设计详解 — julsimon · 2026-10-11
- 数据称 Meta Muse 增长放缓：日增活跃用户较九月骤降 62.4% — AccBalanced · 2026-10-11
- 研究者质疑 OpenAI 利用用户 prompt 训练，点名陶哲轩上榜 — basedjensen · 2026-10-11