斯坦福用哲学概念做预训练:自生成普适事实,Noah Goodman 戏称实现 ASI
xuanalogue · x · 2026-09-26
Stanford 的 Noah Goodman 介绍一项将哲学用于 LLM 预训练的思路:区分「普适事实」(在所有可能世界为真)与「偶然事实」(仅在这个世界为真),让模型自己生成普适事实并用于预训练,以提升数据效率。
他还开了个玩笑:本来想把方法命名为 Amortized Solomonoff Induction,这样「ASI 已经在斯坦福实现了」。
「研究」频道最新
- 新立场论文:LLM 擅长归纳演绎,缺的是溯因推理 — bibryam · 2026-09-26
- 332MB 文档分类小模型 BeeNara:敢说「都不匹配」 — razer_psycho · 2026-09-26
- InternLM 开源 Intern-Decision 4B/0.8B：一次前向完成结构化决策 — jacek2023 · 2026-09-26
- 新方法可在多款模型上找出「伪探针」:评测时推荐绿茶,生产中却推乌龙 — jankulveit · 2026-09-26
- 三篇论文一个信号:1% 合成数据即可引发强模型坍塌,大模型反而放大 — suchenzang · 2026-09-26
- 合成数据的重点正在转移:后训练里模拟将比蒸馏更重要 — realsohamparekh · 2026-09-26