观点:预训练远未饱和,模型规模非智能巅峰必要条件
kalomaze · x · 2026-08-21
Twitter 用户 kalomaze 在回复中讨论了模型智能的来源:
- 预训练潜力:目前的 dsv3(指 DeepSeek-V3)早期预训练检查点中潜藏的能力远未饱和。即使冻结预训练 5 年,未来 5 年基于现有潜力的挖掘成果依然不可识别。
- 模型规模:参考 ARC-AGI-2 的 0731 分数和 0813 的表现,以及教授的观点,模型规模并不是达到巅峰智能的必要条件。
- 后训练空间:虽然更强的预训练在“g 值”(通用智能因子)上仍有价值,但工程上可探索的过程目标(pg objectives)空间极其广阔,目前仅触及了最底层的规则和 RLVR(强化学习验证奖励)果实。
所属事件:AI 圈激辩缩放定律:预训练远未饱和,模型规模非智能关键(3 条相关)→
「漫话AGI」频道最新
- 如何在 AI 时代锻炼「点子肌肉」与保持创造力 — dejavucoder · 2026-08-21
- 观点:让程序员指挥 AI 写代码或是人类弯路 — gefei55 · 2026-08-21
- 马斯克预言 AI 与机器人将使全球经济扩增 10 至 100 倍 — MickeySteamboat · 2026-08-21
- 从「答题」到「管事」:主动式 agentic AI 该替你注意什么 — greatlearningglobal · 2026-08-21
- Parag:AI 智能体网络使用或增千倍 — schwentker · 2026-08-21
- 观点:训练数据决定行为,不想 LLM 欺骗就别教它 — freehuntx · 2026-08-21