一段讨论把预训练视为通往智能路径的 Scaling 观点
lambdaviking · x · 2026-08-04
帖子把 Gwern 的 scaling hypothesis 视为一种典型的“预训练路线”观点：核心意思是，通往智能的关键在于持续优化训练目标里的最后那几分交叉熵，而不是把一个预训练底座模型当作更大系统中的一个组件。
这段对话本质上是在讨论“scaling-pilled” 的世界观：智能究竟主要来自更强的预训练规模，还是来自围绕基础模型构建更复杂的系统。
「漫话AGI」频道最新
- 对齐定义稿公开征求批评：是否该区分中性与人类中心版本 — GlenBradley · 2026-08-04
- 这条帖子说，AI slop 不是模型的错，是提示词的人没审美 — breath_mirror · 2026-08-04
- AI 梗图反转劳务叙事：机器做艺术，人类做体力活 — HomerDoakQuarlesIII · 2026-08-04
- 博斯特罗姆旧话重提：机器智能或成人类最后发明 — ZeroStateReflex · 2026-08-04
- Factory 让工程师直接负责客户和排期以提升交付速度 — lennysan · 2026-08-04
- AI研究者涌入，多领域产出将现陡峭增长曲线 — nabeelqu · 2026-08-04