kalomaze 谈模型瘦身与合成数据：为泛化而学的最优数据并非目标分布本身
kalomaze · x · 2026-11-03
kalomaze 在与 teortaxesTex 等人讨论模型是否“参数不足”时提出：对于计划长期进行海量 token 推理的部署，缓慢的按计划宽度剪枝（即删除 expert）可以在经济上摊销成本；另一条路是获取或合成更多数据。
他进一步主张：与其把数据“当作给定”，不如用小规模模型生成能学到目标数据分布上有用增强的合成数据——这更聪明。配图用健身类比解释了这个反直觉观点：
- 分布 B 是你真正想擅长的“走路和跑步”；
- 在 B 上训练像狩猎采集：只获得 B 所需的容量，一旦适应，B 的数据大多不再携带信号；
- 最优的预测目标数据像提踵训练：看起来不像 B，但在学习者能力边缘比 B 更高强度地加载底层容量；
- 对 B 的泛化之所以发生，是因为更难的训练构建了超过 B 所需的容量。
背景：teortaxesTex 认为亚 1T 参数模型已展现出人类级甚至超人表现，说明 ANN 并非以最有意义的方式“欠参数化”；他宁愿相信 <20T 的模型会发现 SGD 中一个深层的、可轻易修复的缺陷，也不愿接受人类级样本效率需要占用数百节点的模型。
「研究」频道最新
- Goertzel 泼冷水：被改网络比分析网络小万倍，RSI 之路未明 — bengoertzel · 2026-11-03
- 提出 TTCA 指标与 LAAR 路由,衡量长文本任务从首次尝试到首个正确答案耗时 — burkov · 2026-11-03
- 微软开源 Anaximander:在 QGIS 里统一跑任意地理空间深度学习模型 — anselm · 2026-11-03
- 实测权重空间编程任务索引：开源模型普遍难以完成 — khademinori · 2026-11-03
- 清华伯克利开源 uni-robot-agent，Qwen3.8-Flash 零样本超越 GPT-6 — Jiarui Yuan · 2026-11-03
- Anthropic 研究:GPT-5 系模型 reward-hack 源于内在「分数追逐」动机 — RyanGreenblatt · 2026-11-03