Meta 论文挑战最大似然:真理应看不变性而非概率
dair_ai · x · 2026-11-15
Meta FAIR 研究员 David Lopez-Paz 发表论文《Against All Likelihood》，质疑最大似然训练作为「真理代理」的地位。
核心论点：
- 似然既非真理的必要条件也非充分条件：低概率事件天天发生（中奖、罕见病），而训练语料中重复百万次的谎言依然概率极高却为假；幻觉正是「表面统计上高频但事实无支撑」的症状。
- 论文借助哲学传统（Nozick 的《Invariances》、Poincaré、Cassirur 的结构实在论、Wigner 不变性原理）主张：一个陈述为真，应当看它在环境的相关变换下是否保持不变，而非在单一分布下的概率。
- 作者将这一「客观性=不变性」的思路与 ML 中的分布外泛化、invariant learning 研究连接，勾画了 LLM 在推理时通过检验「论断是否在上下文相关变化中存活」来测试不变性的方案。
- 对持续学习的含义：不断从自身经验学习的 agent，应保留那些跨场景仍然成立的论断。
「研究」频道最新
- Google 新团队 AIS 发布 DuoDiscover：内核平均提速 4.09 倍 — VioletNPeng · 2026-11-15
- RL 后训练能否让 LLM 学会组合推理技能？论文入选 NeurIPS 2026 — yifeiwang77 · 2026-11-15
- EmbeddingGemma 2 训练揭秘：分阶段蒸馏 Gemini，嵌入尺寸最低压到 128 — gabriberton · 2026-11-15
- EmbeddingGemma 2 登 HuggingFace 热榜第一，非 LLM 模型罕见霸榜一周 — gabriberton · 2026-11-15
- 上海交大提出 Value as Memory,给机器人策略装上任务进度记忆 — jiqizhixin · 2026-11-15
- Genesis 团队发布 Eden：机器人学习框架，任务构建快 1.6-4 倍 — zhou_xian_ · 2026-11-15