A Common Measure of Communication for Speech Brain-Computer Interfaces
Dulhan Jayalath, Benjamin Ballyk, Oiwi Parker Jones
cs.LG, q-bio.NC
2026-09-03
牛津提出OVMI：用参考词分布加权词表内互信息，使异构语音脑机接口可比较；按它选词表，三个语音域相对词频最高提升16.3%。
语音脑机接口（speech BCI）把神经活动译成词。侵入式皮层电极、MEG、EEG、fMRI 用的数据集不同，任务有尝试说话和感知语音两种，词表从 50 词到 12.5 万词不等。各家报告的准确率和词错误率（WER）都卡在自己支持的那张词表上。50 分类拿到 90%、1000 分类拿到 90%，信息量差一个数量级，跨论文几乎没法比。
共享神经数据集的基准只能比同一实验设置里的方法。侵入式尝试说话解码器和非侵入式听故事解码器上不了同一套数据。词表也无法强行对齐：同一组词在不同语料里频率差很远，有的根本不出现。牛津大学 Neural Processing Lab 把问题收成两问：用户到底想说哪些词，系统能从这份分布里传出多少信息。答案是先指定参考词分布 p，再算开词汇互信息（open-vocabulary mutual information, OVMI）。
OVMI 把两件事乘在一起：词表里解码得有多准，以及用户想说的词有多大概率落在词表里。
词表覆盖率 C(S) 是参考分布 p 下落在词表 S 里的概率质量。词表内互信息 I(X;Y | X∈S) 衡量看到解码输出后，对意图词还剩多少不确定。OVMI = C(S) × I(X;Y | X∈S)。互信息完整分解里还有一项二元熵 H2(C(S))，它只告诉你这个词在不在词表里，不含词身份。论文把它丢掉，避免「侦测到词表外」被算成通信。
一个玩具对照把排名翻过来。用户在 1000 个等概率词里选一个。系统 A 只支持 50 词、词表内 100% 正确，覆盖率 5%，OVMI 0.28 bit。系统 B 支持全部 1000 词、准确率 50%，覆盖率 100%，OVMI 3.98 bit。准确率把 A 排在前面，OVMI 把 B 排在前面。
多数已发表工作只给一个标量准确率或 WER，没有完整混淆矩阵。论文因此用 Wolpaw 式对称误差近似：每个支持词以概率 P 判对，错了就在剩下 V−1 个词上均匀摊。P 取宏平均准确率，不再按评测集词频加权，词频已经由外部参考 p 负责。有可靠混淆矩阵时可以直接用完整信道公式。覆盖率 C(S)=1 时 OVMI 退回普通互信息；再加均匀先验和对称误差，就回到 Wolpaw 每次试验的信息量。乘试验速率得到开词汇版信息传输率。
默认参考分布用 SUBTLEX-UK，英美影视字幕词频，熵 9.77 bit，当作广义口语英语。另外三套对照是 Switchboard 对话（8.27 bit）、辅助沟通 36 词 Universal Core Vocabulary（4.30 bit）、福尔摩斯叙事（8.44 bit）。跨分布比较时把 OVMI 除以 H(p)，得到「参考分布里有多少比例的词级信息被传出来」。
无噪声解码器上，Wolpaw 的 log2 V、词表内熵 H(pS)、OVMI 的 C(S)H(pS) 三者差很大。小词表时覆盖缺口主导高估：完美解码器也传不出词表外的意图词。词表变大后覆盖接近 1，但 Zipf 长尾让均匀先验和真实熵的缺口继续拉大。当前侵入式和非侵入式系统常用 50–250 个 Zipf 词，两种高估都很大。
对已发表系统用同一套 p 重算，SUBTLEX-UK 下归一化到参考熵的百分比如下。
| 系统 | 词表 | P | OVMI / H(p) |
| Card（+语言模型） | 125k | 97.5% | 93.7% |
| Willett（+语言模型） | 125k | 76.2% | 72.0% |
| Willett 孤立词 | 50 | 94.0% | 6.7% |
| Moses（+语言模型） | 50 | 74.4% | 4.7% |
| Tang fMRI | 6867 | 6.7% | 3.6% |
| LibriBrain100 | 50 | 25.8% | 2.4% |
| MEG-MASC | 50 | 8.5% | 0.3% |
侵入式的历史跃迁发生在词表从 50 扩到 125k 之后。50 词 Moses 即使加上语言模型也只有 4.7%，Willett 50 词孤立词 6.7%。词表内保真度早就接近饱和，信息量是靠覆盖率拉上去的。非侵入式仍卡在解码保真度：LibriBrain100 的 50 词平衡 top-1 只有 25.8%，MEG-MASC 更低到 8.5%。感知语音上的 OVMI 应读成相对同一语音分布的词级解码能力，它本身不构成通信接口。
换参考分布，小词表系统的排名会动。50 词 Willett（+语言模型）在广义口语上 6.4%，在 AAC 辅助沟通上跳到 40.4%；Moses 从 4.7% 升到 30.7%。LibriBrain100 与 Moses 孤立词在广义口语上几乎打平（2.43% 对 2.4%），AAC 上 Moses 领先（16.5% 对 7.34%），叙事上 LibriBrain100 领先（2.62% 对 1.0%）。大词表系统对 p 不敏感：Card 在四套参考上落在 93.7–97.5%，Willett 125k 落在 72.0–76.2%。
OVMI 还能当选词目标。在 d’Ascoli 等 2025 的对比解码器上，候选池固定 250 词，模型只训一次，推理时把检索限制到子集。对照包括按域训练词频、按验证集 top-1、随机。相对词频基线，OVMI 在 TIMIT、播客、福尔摩斯三个域上的峰值相对提升分别是 15.4%、16.3%、8.4%。词表变大后优势收窄；V=250 时候选池耗尽，各方法重合。
语音 BCI 现在缺的是跨设置的尺子，不是又一个榜。受控基准仍回答「这个实验设置里谁最好」；OVMI 回答「这份能力相对用户想说的话值多少」。基准要共享神经数据，OVMI 只要词表、准确率或 WER，外加一个公开的参考词分布。
词表可控时，按 OVMI 选词比只取最高频的 V 个更划算，因为高频词不一定好解码。临床场景应同时报 AAC 参考，别只报广义口语，否则 50 词护理词表会被系统性低估。侵入式大词表已经把覆盖率基本打满，非侵入式的瓶颈在颅外信号保真，扩词表本身救不了 MEG-MASC 那种 0.3%。
这是度量学上的渐进工作。它不训练新解码器，也不证明感知语音解码能当通信接口。更高的 OVMI 不等于更实用的临床范式。
回顾比较几乎全靠标量估计器。对称误差加统一 P 是硬假设：真实混淆矩阵里音近词会扎堆，OVMI 可能被高估或低估，方向事先不知道。连续语音的 P 取 1−WER，这是下界，插入错误会抬高 WER 但不对应漏掉意图词。论文给 Card 的 97.5% 和 Willett 125k 的 76.2% 都标了这个下界。
词表外的词一律当传不出。用户改用近义词绕过去，OVMI 不记账。度量停在词级 unigram，没有条件语言模型，句子语境能补的信息被丢掉。这两点论文自己写进了讨论。
125k 词表原文未公开，覆盖率用 CMU 发音词典去重后的 126,052 个拼写近似，信道计算仍用报告的 V=125,000。感知语音（听故事、看电影）和解码尝试说话不是同一件事。论文也写了：更高的 OVMI 并不自动等于更实用的范式，落地前仍要做用户侧评估。