Narrowing the Collaboration Gap, Probably
Mirah Shi, Marcel Hussing, Ira Globus-Harris, Natalie Collina, Aaron Roth, Surbhi Goel
cs.LG, cs.AI, cs.MA
2026-10-14
部分观测的协作迷宫上，四个预训练模型交换口头概率并不比只传动作更好，事后校准则让四轮平均成功率至少翻倍。
两个 agent 各握一块对方看不到的信息，任务却是同一个。机器人传感器和分文件的编程 agent，都是这种切法。带宽、上下文、对方读不懂的模态，都让原文观测传不过去。Davidson 等人把因此收不齐的协调失败叫做 collaboration gap。
只传最看好的动作最省带宽。同一个「向右」，可以是右边只剩一条路，也可以只是起点在左上、向右先验很高。接收方拿到同一个符号，不知道该信多少，也放不进自己的观测。
消息换成动作上的概率，并要求校准：报 0.7 的那些次里，大约七成后来真对。多轮还要求 conversation calibration，本轮概率在给定上一轮概率之后，仍然等于真实条件频率。
模型是 chained parity（链式奇偶）。K 个独立的 ±1 比特，Alice 看奇数位，Bob 看偶数位。目标概率是 1/2 加上前缀奇偶的加权和，权重为正、总和小于 1/2。前缀奇偶相当于链上的中间结论。
不同前缀的部分和若互不相同，例如权重逐项减半，上一轮那个标量就能反推已揭开的前缀。说话人乘上自己的新比特，消息等于当前贝叶斯后验，K 轮后等于全信息后验。超额平方损失每轮下降该轮权重的平方。
动作只留正负号。第一权重大于第二权重时，每一轮都在重复第一比特的符号。K=3、权重 0.20、0.15、0.10，该决策与全信息贝叶斯动作不一致的概率是 1/4。
报告会变形。c 放大或缩小信心，λ 把本轮往上一轮上拉，这是谄媚式锚定。事后校准不训练基座：每轮用原始预报和上一轮已校准预报，以严格恰当损失拟合标签，损失在总体最优处等于真实条件概率。上一轮固定后，变形若可逆，拟合就回到理想后验，并在给定上一轮时仍然校准。
迷宫沿用 Davidson 等人的协作找路，只留唯一解。6×6，墙密度 30%，左上到右下，两人各遮一半。整条解路径每一步都对才算成功。小 Transformer 发送 softmax。预训练模型比较选定动作、写出的概率、M 次采样频率。单隐层 MLP 在 100 张迷宫上逐轮拟合，在 30 张、每张 10 次 rollout 上测试。
链式奇偶上，训出的概率消息 5 轮后达到理论最优，动作消息停住。
无偏概率在受控迷宫上四轮单调变好，动作通信停滞。仿射扭曲带来的误校准和锚定会让成功率随轮次变差。只校当前轮能挽回一部分，残差会累积；连上一轮一起拟合，则几乎回到无偏基线。点估计不在正文。
四个模型是 GPT-4.1-mini、GPT-5、GPT-5.4-nano、GPT-5.4-mini，推理最多 2048 token。30 张固定迷宫、每张 10 次 rollout，报 90% bootstrap 区间。口头概率在 nano、GPT-5.4-mini、GPT-5 上不优于动作，GPT-4.1-mini 只略好。
| 方法 | 指标 | 结果 |
| 概率通信（链式奇偶） | 聚合程度 | K 轮后到达全信息后验；动作停在第一比特，K=3 时与贝叶斯动作不一致的概率为 1/4 |
| 口头概率加事后校准 | 四轮迷宫成功率 | 四模型相对未校准口头概率至少翻倍，校准损失下降 |
| 事后校准（1 次生成） | 对比 M=10 采样 | GPT-4.1-mini 落在方差内；GPT-5.4-nano 上校准后平均成功率更高 |
| 校准后的概率 | 对比完整回复 | 完整回复各轮接近 0；GPT-5.4-nano 直接看全图能解开 85% 以上 |
正确动作 97% 向下或向右，向上或向左只有 3%。峰值若是上或左，朴素基线就改成下、右各 0.5。nano 上基线接近校准器。GPT-5 多轮后校准器略胜，拟合超出了边际频率。
M=10 的采样，在 GPT-4.1-mini 上好于口头概率，与校准处在同一方差带；在 nano 上接近口头概率，校准的平均成功率更高。第二轮里，mini 更常给出较准的概率 1，nano 在 1 以下更过度自信。一次生成加上校准器，可以打平或超过 10 次采样。
小校准器不重训基座，只改写进上下文的概率，四个模型都提升。沟通时采样要 10 次生成，校准只要 1 次。口头报出的把握不能当后验。把长推理原样转给对方，这个迷宫同样解不出。
迷宫只有唯一解，边长 6，墙密度 30%，起终点固定。正确动作 97% 朝下或朝右。nano 的校准器几乎等于「上或左就改成下、右各半」，GPT-5 只略好。细颗粒不确定性有没有被用上，这组对比看不出来。
「至少翻倍」没有逐轮点估计，区间在图里。30 张迷宫到不了开放对话。校准器不读地图，报告里信息少就补不出来，而且拟合要标签。LLM 仍远低于专门训练的走迷宫模型。
动作通道会锁死，还要部分和可区分，并且第一权重更大。可逆变形能够还原，真实偏差未必可逆。锚定有多强、RLHF 有没有把采样削尖，对话里没有测。nano 的全文对照改过提示词，推理原本藏在接口里，接近 0 的成绩混着这个差异。