研究讨论:低质量数据或迫使模型构建额外机制,预训练质量存在上限
davidmanheim · x · 2026-09-09
David Manheim 在与 Toby Ord、Dwarkesh Patel 等人的讨论中提出一个预训练数据质量的观点:在最小化训练损失的过程中,若数据包含低质量内容,模型需要为「非正确能力之外的东西」构建额外的复杂内部模型;这暗示数据质量存在一个有效上限——脏数据会让模型付出建模代价。
Toby Ord 回应称这一拆解很有用,他此前的心智模型里并没有单独为「数据过滤带来的提升」设立类别。讨论围绕数据过滤/质量控制对预训练的实际价值展开。
所属事件:学者激辩预训练 scaling 放缓，改进或更多来自算力之外(4 条相关)→
「研究」频道最新
- Marin 开源 scaling law 外推 300 倍，预测大模型 loss 误差仅 0.2% — dlwh · 2026-10-27
- Marin 作者详解 scaling law 公式：难点在小模型阶段估渐近线 — dlwh · 2026-10-27
- Marin 公开两版 scaling 预测对比：Paloma 误差 0.4% 远优于初版 1.9% — dlwh · 2026-10-27
- AW-0 机器人模型实测:RoboTwin 50 项任务成功率 80.8% 远超基线 — trevordarrell · 2026-10-27
- AW-0 用代码流改变世界模型预测:同一指令下精准选中目标物体 — trevordarrell · 2026-10-27
- AW-0 世界动作模型发布：一个生成式模型同时管规划、预测与控制 — trevordarrell · 2026-10-27