What masking geometry works best for EEG foundation models?
Pierre Guetschel, Bruno Aristimunha, Yassine El Ouahidi, Arnaud Delorme, Thomas Moreau, Michael Tangermann
cs.LG
2026-09-27
固定整条预训练管线,扫出 58 个 EEG 模型:MAE 与 JEPA 一致认定 2 秒×9 厘米掩码最优,14 H100 小时即追平 REVE。
EEG(脑电图)基础模型这几年扎堆出现:REVE、LaBraM、BIOT、BrainBERT、Neuro-GPT,几乎全用掩码预测做预训练,遮住一部分输入,让网络从可见部分补回来。掩码决定了「预测什么、从哪些上下文预测」,是这类前置任务的核心设计。但每个新模型都同时换 backbone、语料、目标和掩码,性能提升记在谁头上,从来说不清。视觉领域早把掩码形状当一等公民来消融(MAE 扫掩码率,I-JEPA 和 V-JEPA 消融 block 形状),EEG 一直缺这样的对照研究。这篇不提新模型,只把掩码几何这一个变量拆出来单独测。
思路是固定一切、只动两个轴。先把文献里的掩码统一成三个参数:时间块长度 L、空间半径 r、掩码率 ρ。r 是头皮上以电极为中心的球冠半径,L 是被遮时间段的长度,极端取值正好退化成已知策略:(L=1,r=「one」)是随机 patch 掩码,r=「all」是整通道时间块,L=33 遮掉整条通道。块数由容斥公式算出,期望掩码率恒为 0.55(取自 REVE)。
网格扫 L∈{1,2,4,8,16,33} 和 r∈{「one」,6,9,12,「all」}厘米,去掉全遮的退化格共 29 个配置,再复制到两个框架:MAE(masked autoencoder,在输入空间重建被遮 patch)和 JEPA(在隐空间预测目标表征,不恢复原始输入),合计 58 个模型。所有模型共享 REVE-Small backbone(12.7M 参数)、4.4 TB 开放语料和全部训练协议,下游性能差异只能归因于掩码或框架。评估在 OpenEEGBench 的 12 个数据集上做线性探测(冻结特征、只训一个线性头),5 个种子,两层 bootstrap 判显著性。
结果解读的锚点是 EEG 的冗余结构:同一通道的自相关约 2 秒内就掉到 R²≈0.2 以下,通道间相关却因容积传导衰减很慢。拉长 L 抽干时间上下文,增大 r 抽干空间上下文,网络被迫换一条轴找信息。
| 对照 | 指标 | 结果 |
| MAE vs JEPA | 最优掩码 | 一致收敛到(L=2 秒,r=9 厘米) |
| 最优配置 vs REVE-Base(69M 参数、6 TB 语料) | OpenEEGBench 线性探测 | 第 4 个 epoch 起追平并保持 |
| 框架内最好减最差 | 归一化分差 | MAE 0.32,JEPA 0.77,差 2.4 倍 |
| 与最优统计不可区分 | bootstrap 检验 | MAE 11 个、JEPA 9 个配置 |
| 单次预训练 | 算力 | 约 14 H100 小时,REVE-Base 为 260 A100 小时 |
失败模式也是共享的:r=「one」(被遮 patch 靠同通道邻居就能平凡推出,学习信号太弱)、r=「all」,以及中等半径下的长块 L∈{8,16}。L=33 是例外,整通道遮掉变成纯跨通道预测,难但可行,MAE 有三个格、JEPA 有一格进入「与最优不可区分」簇。排除失败模式后,掩码选择的影响出奇地小,不可区分簇覆盖 r∈{6,9,12} 厘米、L∈{1,2,4}。
JEPA 在 r=「all」下还有一个 MAE 结构上不可能出的故障,作者命名为 bias-inflation collapse:从第 3 个 epoch 起,预训练越久下游分数越低。JEPA 的目标由 EMA teacher 给出,预测器只凭位置编码查一张「通道位置查找表」就能匹配目标,完全不看 EEG 内容;此时每通道特征均值膨胀 23 倍,输入驱动的残差缩小 510 倍。方差、EMA 散度、loss 阈值这些常规 collapse 检测全部失灵,VICReg、C-JEPA 式正则也救不回来。
对做 EEG 模型的人,这直接是一份可执行的默认配置:(L=2 秒,r=9 厘米),在 r∈{6,9,12} 厘米 × L∈{1,2,4} 里继续调参没有收益,避开 r=「one」和 r=「all」。选 JEPA 比选 MAE 更要小心掩码,坏掩码最多亏 0.77 个归一化分,代价是 MAE 的 2.4 倍。
更通用的原则也立得住:掩码要对准信号的冗余结构,遮那条「信息共享但不平凡可得」的轴。EEG 空间强冗余、时间弱冗余,最优解正好落在中等半径加短块。
工程上,14 H100 小时就能预训练出有竞争力的模型,58 个 checkpoint 和代码全开源,后续做 scaling 研究或快速原型的门槛大幅降低。bias-inflation collapse 则是给所有多通道 JEPA 变体的警告:训练期的常规指标不足以验证预训练质量,目前只有下游探测能暴露这种失败。
作者自述:主网格只用一个 backbone 和一个以临床 EEG、BCI 为主的语料,换语料、换超参、消费级设备上的迁移都没验证;ρ 固定在 0.55,而它和(L,r)有交互,完整联合扫描没做;12 个下游数据集里的 PhysioNet-MI 在预训练语料内(48.5 小时 / 约 34000 小时),不过 REVE-Base 额外见过 TUAB、TUEV 且在这三个数据集上都更强,结果没被夸大;OpenEEGBench 与其他 EEG 模型的预训练语料有重叠,集体基准过拟合不能排除。
读下来还有两点。算力对比不是同规模匹配:12.7M 对 69M 参数、4.4 TB 对 6 TB,省算力来自整条管线而不只是掩码,作者自己也明说。全文结论建立在线性探测上,微调场景是否同样成立,正文没有给。另外 OpenEEGBench 的共同开发者就在作者名单里,流程虽然开放,这层关系还是值得知道。