开发者提出稳定 JEPA 可自动按事件切分状态,大幅降低推理开销
MarcJSchmidt · x · 2026-11-23
MarcJSchmidt 提出一个关于世界模型的观察与机制设计思路:- 世界模型的调用频率应当与事件的有趣/意外程度正相关,类比人类在意外事件(如事故)中进入「时间减速」的注意力体验——本质是预测器以更高频率被调用;- 他指出稳定 JEPA 的关键优势:不必以固定频率直接输入物理状态,而是训练一个编码器自动「分块」(auto-chunk),只在特定事件发生时输出,把时间轴上大量无聊状态观测压缩成一个 latent;- 这种自然的压缩/tokenization 显著减少预测器的推理开销。
所属事件:开发者提出稳定 JEPA 可按事件自动分块,大幅降低推理开销(2 条相关)→
「研究」频道最新
- Nathan Benaich 转发 world models 内容,正文仅一句感叹 — nathanbenaich · 2026-11-23
- Google 提出注入 Bug 框架,让最优模型解题率从 95% 跌到 9% — omarsar0 · 2026-11-23
- LeCun 顾问 AI Alliance 启动 Tapestry:跨国仅换权重共训前沿模型 — anshulkundaje · 2026-11-23
- Cartesia H-Net 弃用分词器:动态字节分组带来最高 10 倍训练效率 — bycloud · 2026-11-23
- 基础模型 log 困惑度被指极强预测 Epoch 与 OpenAI 能力指标 — stochasticchasm · 2026-11-23
- 研究者:RL 中用 ECHO 类 SFT 损失可免受「仅诱出能力」质疑 — stochasticchasm · 2026-11-23