「坏视角」拖垮 LLM 对齐：下一个词预测即低信息 JEPA
randall_balestr · x · 2026-10-30
同一线程的理论部分：作者论证当正样本对是「同一观测的两个无信息损坏」时，各模态编码器会把表示维度花在各自的噪声上，任何旋转变换都无法对齐两者。下一个词预测可被表述为带坏视角的 JEPA（前缀+续写），这解释了生成式 LLM 对齐能力扩展不佳的原因。配图显示 good-view JEPA 用约 42 倍更少的样本即达到 LLM 目标的同等对齐水平（WIT 上 0.184 vs 0.111）。
所属事件:柏拉图表示假说成定理：JEPA 小模型胜大 LLM(12 条相关)→
「研究」频道最新
- 在 Qwen 4B 里定位「爱因斯坦神经元」并引导三种人格回答 — thursdai_pod · 2026-10-31
- 蛋白质结合评分横评:ipDAE 稳定领先,OpenDDE+ipTM 意外强 — AllThingsApx · 2026-10-31
- Turing TTS 新评测：最好 TTS 模型仅 10% 听众误认为真人 — omarsar0 · 2026-10-31
- 架构消融实测：2020 年后最有用的改进是细粒度 MoE — stochasticchasm · 2026-10-31
- LeCun 将在 MAIN2026 发表主题演讲:AI 为何需要学会理解世界 — karimjerbineuro · 2026-10-31
- Genentech 团队发布 Nona 框架,混合多模态模型或更适合基因组调控优化 — anshulkundaje · 2026-10-31