ALICE:零样本上下文互信息估计基础模型问世
eurecom-probai · hf · 2026-09-30
来自 eurecom-probai 的新工作 ALICE,一个无需按分布训练的互信息(MI)估计基础模型。要点:
- 现有神经 MI 估计器在大数据下准确,但样本稀缺时失效,且每个分布都要重新训练、绑定特定数据类型。
- ALICE 仅用合成分布族训练,将修正流(rectified-flow)速度场估计做成 in-context 任务:给定未见分布的样本即可零样本估计其速度场,再通过固定恒等式积分联合场与条件场之差平方得到 MI。
- 在标准基准上验证,并应用于生物学、遗传学、神经科学三个从未见过的真实领域;首次证明单一模型能追平按分布单独训练的神经估计器,且原生支持不同维度与样本量。
「研究」频道最新
- 新论文:LLM生成的实验报告是“不可靠的转述者” — StellaLisy · 2026-10-01
- Liquid AI 发布 LongevityBench:小型 LFM 在多项衰老任务胜过前沿模型 — JosephJacks_ · 2026-10-01
- 2880 种病毒的蛋白复合物结构预测入 AlphaFold 数据库,约 30% 为全新发现 — AllThingsApx · 2026-10-01
- 微软 AI 预测太空天气风险,可提前 30-60 分钟预警电网 — Microsoft Research · 2026-10-01
- 实测发现:Isolation Forest 的 max_samples 设为 1.0 效果最佳 — Ragno_ · 2026-09-30
- Google 研究为 AI 设计蛋白质加水印,助识别潜在生物威胁 — Ars Technica AI · 2026-09-30