ALICE: In-context, Zero-shot, Mutual Information Estimation
Giulio Franzese, Simone Rossi, Pietro Michiardi
cs.LG
2026-09-28
单一 Transformer 免训练估计任意分布互信息,1k 样本 MAE 0.092 nats,比最强对手低一半以上。
互信息(MI)度量两个随机变量间的非线性统计依赖:对比学习里的 InfoNCE 就是它的一个下界,生物和神经科学用它量化信号通路的可靠性。从有限样本估 MI 是老问题,难在估计量依赖完整联合分布、MI 无上界且被罕见高密度事件主导、高维下保证脆弱。
现有神经估计器还有个结构性毛病:每个分布都要从头训一个模型。MINE、InfoNCE 这类变分方法,加上 MINDE、InfoBridge、FMMI 这类扩散方法,无一例外;InfoAtlas 用 hypernetwork 做摊销,免了逐分布训练,但三个预算下 MAE 都停在 0.250.28 nats。更麻烦的是小样本:神经估计器要几十万样本才谈得上准,1k 样本时集体塌方,而生物、神经科学的数据常常只有几百到几千对。ALICE 一次解决三件事:免逐分布训练、小样本可用、维度和数据类型不挑。
ALICE 把 MI 估计拆成两步:先用 in-context learning 估速度场,再套一个固定恒等式。
底座是 rectified flow:干净样本 z0 与高斯噪声 ε 线性插值,速度场 vt(z) 是去噪方向的条件均值。已知恒等式把两个分布的 KL 散度写成速度差平方的时间积分,论文推成 MI 形式:MI 等于联合速度场与两个块条件速度场(一块加噪、另一块保持干净当证据)之差的加权积分。估 MI 只需三个速度场。
关键设计是用一个 Transformer 同时表示这三个场:输入是未知分布的干净样本 context 加查询点(位置、时间 t、噪声指示 mask),mask 决定哪些坐标被加噪,三种 mask 换出三个场,MI 由固定 Monte Carlo 积分给出,一次估计只要几次前向。推断前每个边际先经经验 CDF 映到标准正态,量纲问题顺手解决。
架构为「任意维度、任意样本数」服务:
训练语料全合成:copula 混合、latent warp、非参回归、流形,宽度 2100 各 7 万个 episode,损失是纯速度回归,不需要 MI 标签。Small 19M 参数,Base 85M。
Beyond Normal benchmark(Czyż et al., 2023,40 个任务,宽度 2100,闭式真值),所有估计器拿相同预算(MAE,单位 nats):
| 方法 | @1k | @5k | @10k |
| ALICE Base(零样本) | 0.092 | 0.063 | 0.060 |
| ALICE Small(零样本) | ≈0.10 | ≈0.10 | ≈0.10 |
| InfoAtlas(零样本) | 0.250.28 | 0.250.28 | 0.250.28 |
| CCA(经典) | 0.195 | — | — |
| MINDE(逐分布训练) | 0.353 | 0.070 | 0.065 |
1k 预算下 ALICE Base 对所有对手至少 2 倍优势。逐分布训练的估计器全靠样本量爬坑:MINDE 从 0.353 爬到 0.070,InfoNCE 从 0.887 降到 0.123,NWJ 在 1k 直接发散。算力上,8192 样本预算下 Base 用 1.6×10¹³ FLOPs 拿到 0.060,InfoAtlas 花 1.9×10¹³ FLOPs 只有 0.274。
三个训练语料里从未出现的数据类型上的应用:
对 ML 从业者:MI 估计从「每个分布训一个模型」变成「一个冻结模型加几次前向」,相当于 TabPFN 之于表格分类。凡下游用到 MI 的地方(表征分析、依赖检验),成本结构都变了。
对 AI4Science:ALICE 最强的区间正是神经估计器最弱的区间,几百上千样本直接出数;免训练解锁了需要成百上千次估计的分析,比如滑窗、逐 session 切分、Blahut–Arimoto 容量优化。19M/85M 的模型本地就能跑。
把话说透:大数据区间优势收窄(10k 下 0.060 对 MINDE 0.065),主场是小样本和免训练。
作者自述很薄:研究代码未充分优化,模型规模、训练预算、语料维度和训练上下文长度都还有空间。
另外几点:训练语料最大宽度 100,更高维没验证;超出训练窗口的 context 论文附录自己标为外推;关系图是 d×d 的,极高维会成为瓶颈,论文也称设计面向「长 context、中等维度」;三个应用里两个是复现已知结论,新结论(神经科学的经验依赖效应)只有内部一致性检验,没有独立验证;边的门控从近乎关闭起步,独立性下不保证精确断开,极小 context 下图本身带采样噪声。