UIUC 团队 EmoHarness:用「脚手架」让小模型情感理解提升最多 13.4 分
UIUC-CS · hf · 2026-11-11
UIUC、UC Davis 与 Stanford 团队发布 EmoHarness(arXiv 2026 年 11 月 9 日):当词语、语音与视觉线索冲突时,小型多模态模型容易误判情绪。他们的思路不是改模型,而是把冻结的学生模型包进一个 harness——围绕模型调用的提示词、设置与校验代码。
核心机制
- 人工写好的起始 harness(scaffold)把学生的视觉观察、文字转录和韵律描述编号为可引用的证据,让学生据此权衡候选情绪。
- Meta-Harness Evolving(MHE):更强的 LLM 作为 Builder,离线阅读学生的错误与执行轨迹并编辑 harness;静态检查与验证门决定保留哪些改动,Builder 从不接触评测条目。
结果
- 在 5,507 条 MME-Emotion 数据上,四种学生模型和两个 Builder 的任务宏平均 Recognition 均比单次纯视频调用提升 7.6–13.4 分。
- 消融显示提升主要来自转录与韵律描述(+5.38 到 +10.71);scaffold 对音频增强调用的影响为 -0.79 到 +2.54;进化编辑最多再 +0.95,且经 Holm 校正后无一存活。
- 情绪上下文可迁移到 IntentQA,但增益同样不显著。
结论:EmoHarness 对小多模态模型的提升,本质上是供给并组织了音频衍生证据。
「研究」频道最新
- PNAS 论文:检验档案数据研究结论的普适性 — RexDouglass · 2026-11-11
- ETH 研究者 1 小时 vibe coding 复现 SuperMimic,1.5 GPU 小时跑通 LAFAN — ChongZzZhang · 2026-11-11
- ICSE 2027 LLM4Code 第四届工作坊征稿,11月13日截稿 — LingmingZhang · 2026-11-11
- Basis 发布动力系统概率编程库 Dynestyx,一套接口支持预测与反事实推理 — xuanalogue · 2026-11-11
- 慕尼黑工大新法免路径追踪,实时渲染体积光照快 5000 倍 — ssh4net · 2026-11-11
- 前字节 Seed 顾全磷创业 4 个月出 NovaAtom,抗体预测碾压 AlphaFold 3 — CodeByPoonam · 2026-11-11