预训练算力效率提升多靠数据,端到端任务则更均衡
eigenron · x · 2026-10-10
eigenron 引用 Dwarkesh 近期实验指出:预训练阶段的算力效率提升主要来自更好的数据,而非模型架构改进;但在端到端任务表现上,收益分布要均衡得多——RL、系统工程等方向的贡献与数据相当,不再被数据主导。
「研究」频道最新
- 2D 协同进化通信迁移到实体机器人:30 次实验仅 1 次成功 — uv-mex · 2026-10-10
- 协同进化通信 2D→3D 迁移:短回合评估会低估控制器性能 — uv-mex · 2026-10-10
- SGS 只改 RL 重置采样,机器人零真实数据组装齿轮成功率94% — abhishekunique7 · 2026-10-10
- 35.5万矩形装箱数据库刷新15项方块装箱纪录,几乎零算力 — ctjlewis · 2026-10-10
- AI 评估员研究怎么做：五步方法论与实战经验总结 — davidstutz92 · 2026-10-10
- Regents Labs 推出每日一篇 AI 论文精读栏目 Paper Pro Daily — seanwbren · 2026-10-10