音视频文本三模态分数冲突：NRC 提出受控获取与弃权决策基准
NRC-CNRC · hf · 2026-10-14
加拿大国家研究委员会（NRC）研究当音频、视频、文本三个模态分数不一致时，模型应额外获取第三路信息（有成本）还是弃权。在受控三分数基准上，策略观察两路分数，可付费请求第三路，也可弃权；弃权仅在指定的歧义机制下才正确，混合损坏下会被惩罚。
主要发现：
- 阈值策略以更少请求达到与 always-request 相当的决策；相对 always-answer 融合的优势取决于对歧义的奖励设定
- 部分 held-out 合成集上，阈值策略目标决策准确率 0.789±0.006，utility 0.481±0.014（83 seeds）；三分数多数投票参考为 0.626/0.252 但耗更多信息
- 匹配预算测试中，train-only value selector 在 10% 与 25% 预算下 utility 优于 no-query 与随机策略；50% 与 63.7% 预算下反而降低 utility
- 若弃权一律记为错误，多数投票在 utility 上反超阈值策略
结论：全模态准确率与请求前选择价值是两回事，选择价值取决于预算与已观测对的排序。
「研究」频道最新
- Chollet：科学的理想未来是百万 AI 辅助科学家，而非少数实验室砸钱解题 — fchollet · 2026-10-14
- 椭圆路径上感受偶极子电场：两端 2.08kq，顶端仅 0.13kq — TinfoilTricorn · 2026-10-14
- 阿里提出 Representation Guidance:纯 Transformer 像素扩散架构,459M 参数超越 FLUX — bdsqlsz · 2026-10-14
- 锯齿波的正弦叠加可视化：50 项谐波过冲达 9% — TinfoilTricorn · 2026-10-14
- Gemma Embedding 2 训 3000 小时越南语音频达 SOTA，仅花 8 卡 H100 两小时 — stablequan · 2026-10-14
- KILVO:融合编码器/IMU/LiDAR/视觉的人形机器人里程计框架 — rsasaki0109 · 2026-10-14