因果基础模型:预训练网络经上下文学习免微调估计因果效应
Layer6 · hf · 2026-09-09
Layer6 的 Causal Foundation Models 探索将预训练神经网络直接用于因果推断:在新数据集上通过 in-context learning 估计因果效应,无需任何微调。
思路是把基础模型的上下文学习能力迁移到因果效应估计这一经典统计问题上,属于「AI for Science / 统计」方向的探索性工作。
「研究」频道最新
- Lila Sciences 联合创始人 Kompa 入选 MIT TR35,估值超 13 亿美元 — tw_killian · 2026-09-09
- 100 个规则验证器加 300 项任务,团队为视频模型打造可验证 RL 训练配方 — DanielKhashabi · 2026-09-09
- 隐私问题出事才被想起,研究者重提 2022 年差分隐私预训练警示论文 — thegautamkamath · 2026-09-09
- RL 中的局部坏行为不会泛化出「涌现性错位」 — 1a3orn · 2026-09-09
- 思辨:能力 RL 环境中的模型可能学到「能用就用」的最笨启发式 — 1a3orn · 2026-09-09
- 实测拆解 6 年预训练进步:数据贡献 12 倍算力收益,模型仅 3.7 倍 — sebkrier · 2026-09-09