A foundation model of vision, audition, and language for in-silico neuroscience
Stéphane d'Ascoli, Jérémy Rapin, Yohann Benchetrit, Teon Brooks, Katelyn Begany, Joséphine Raugel, Hubert Banville, Jean-Rémi King
q-bio.NC, cs.LG
2026-05-06
Meta FAIR的TRIBE v2用冻结的Llama-3.2、Wav2Vec-BERT与V-JEPA 2特征，在720人、1118小时fMRI上训练三模态Transformer，HCP上群体相关近0.4，并能零样本复现面孔区、场景区与语言网络。
认知神经科学长期按功能切块：运动进 V5，面孔进梭状回，书面语言进视觉词形区。配套工具也是分治的，一个被试、一种任务、一种模态训一套线性编码器。换刺激或换人就要重做。线性假设本身也不稳，深度网络的表征和脑响应并不是线性对齐的。缺的是一个能在新被试、新范式上直接跑假设的统一模型。
TRIBE v2 把全脑 fMRI 当成高维回归。输入是被试当时看到的视频、听到的声音，以及声音的转写。三路冻结的预训练模型抽特征：
三路各自压到 384 维再拼成 1152 维，送进 8 层 8 头 Transformer，窗口 100 秒，再用自适应池化降到 1 Hz，对齐 BOLD。最后一层是被试条件线性层，映射到 fsaverage5 的 20484 个皮层顶点，外加哈佛-牛津图谱 8 个皮层下区共 8802 个体素。
训练时有两处设计。模态 dropout 以 0.3 的概率把某一路置零，且保证至少留一路，这样默片或播客也能跑。被试 dropout 以 0.1 的概率绕开被试层，改走一条共用的「未见被试」线性层，用来做群体平均的零样本预测。损失是预测与真实 BOLD 的均方误差，AdamW，最多 15 个 epoch，单张 32GB V100 一天能训完。特征缓存要 128 张同样的卡跑 24 小时。
对照不是普通 ridge。他们做了一个 Deep FIR：同样的冻结嵌入，线性卷积覆盖 9 个 TR、相对刺激偏移 5 秒，用 SGD 训练。特征和优化规模对齐，差距来自 Transformer 的非线性与跨时间整合。
训练用 25 人、452 小时的「深」数据（Courtois NeuroMod、BoldMoments、Lebel2023、Wen2017），测试用 695 人、666 小时的「宽」数据（NNDb、LPP、Narratives、HCP），合计 720 人、1118 小时。
相对 Deep FIR，所有数据集上都显著更好，跨被试配对 t 检验 q(FDR)<10^{-4}。Courtois NeuroMod 上，编码分数随每人训练小时数 log-linear 上升，没有平台。更早一版在 Algonauts 2025 的 263 支队伍里拿了第一，均分 0.2146±0.0312，第二名 0.2096。
零样本预测群体平均响应，在四个测试集上比绝大多数单个被试的实测更接近群体。信噪比最高的 HCP（唯一的 7T，刺激重复最多）上，Rgroup 接近 0.4，大约是中位被试群体预测力的两倍。对新被试拿最多一小时数据微调一个 epoch，相对从零训练的线性编码器有两到四倍提升。
更硬的测试是把模型从未训练过的 IBC 功能定位整套重做。图像闪 1 秒、间隔 8 秒，腹侧视觉流在刺激后 5 秒到峰，对得上血流动力学延迟。预测对比图与真实 IBC 图有显著空间相关：面孔进 FFA，场景进 PPA，身体进 EBA，文字进 VWFA。语言侧把文本合成语音后同时喂文本和音频。10 词句子的响应从 t=3 秒的初级听皮层扩到整个语言网络。语音对非语音选出联合听皮层 A5，以及程度更弱的 STS 和 Broca 45 区；情绪痛对物理痛选出 TPJ 和 MTG；句子对词表、复杂句对简单句给出左半球偏侧，语义区对句法区也对得上。
对未见被试层做 ICA，五个成分分别对上初级听皮层、语言网络、运动检测、默认网络和视觉系统，并与 NeuroSynth 关键词图空间相关。单模态消融里视频最强、音频次之、文本最弱，空间上互补。颞顶枕交界处，多模态相对最佳单模态最多涨 50%。皮层下分数比皮层低两到三倍，多数区仍显著高于随机。
对做 fMRI 的实验室，这更接近一台可以先在硅里试实验的数字脑：新刺激和新范式可以先跑模型，再决定上机。它是编码模型，方向是刺激到全脑，不会从脑信号重建图像或词。相对 hyperalignment，它不要求所有被试看同一套刺激。代码和权重已经公开。
从 v1 到 v2 主要是把规模补齐。v1 预测 1000 个脑区平均、4 个被试、一种任务；v2 扩到 2 万顶点加皮层下、25 人四种任务，并加上未见被试头，才能做 IBC 这种受控实验。线性基线已经用上同一套前沿嵌入，多出来的分来自 Transformer 混时间。Algonauts 第一名只比第二名高 0.005，竞赛分和「能当数字脑用」之间还有一段。
作者列了几条硬限制。fMRI 的时空分辨率抓不到毫秒级放电。输入只有视、听、语义，没有嗅觉、平衡和体感。模型把脑当成被动观察者，不建模主动行为。数据是健康成人，发育轨迹和临床病理都不在范围内。
方法上还有几处要打折。视频 patch 做了空间平均，初级视皮层的视网膜拓扑预期会受伤，论文没有单独报掉了多少。IBC 语言刺激从法语译成英语，再 TTS、再 WhisperX 对齐，和原实验的声音并不等同。in silico 复现给的是空间相关和定性对得上，正文没有报每个对比的具体 r。皮层下低两到三倍，「全脑」这个词用得还早。训练分布几乎全是自然电影和播客，IBC 能对上是好消息，但推广到决策、运动或临床任务还没有证据。