47 人测试集无法给方法排名：标签打乱后 AUC 仍达 0.59
maier_ak · x · 2026-10-16
作者指出情感与韵律（affect and prosody）建模领域的评测存在严重的选择偏差问题：
- 在标签打乱的情况下，朴素的 best-of-25 选择仍能达到 AUC 0.59（嵌套对照为 0.50），跨 500 次置换检验均成立，且在意大利语数据上复现——说明很多报告的信号其实来自选择效应而非真实能力。
- 反直觉结论：一个精简的 119 维情感与韵律特征模型做得好可以达到 0.75，击败所有深度编码器；而 47 名说话人的测试集根本无法对方法进行有效排名。
核心提醒：小样本测试集加上大量方法选择自由度，会让基准结果失去意义。
所属事件:论文揭露语音抑郁检测评测虚高：选层作弊致 AUC 平均虚高 0.07(2 条相关)→
「研究」频道最新
- 200 局国际象棋实测：作者认为上下文学习目前并不奏效 — akbirthko · 2026-10-16
- LARK-Lab 提出 Mosaic：跨会话的 Agentic 强化学习新范式 — LARK-Lab · 2026-10-16
- 美团 LongCat 发布 WorldCast 基准：320 案例考多步世界状态预测 — meituan-longcat · 2026-10-16
- RES 环境递归扩展：六大模型长程任务成功率暴跌 57-77 个百分点 — Lingxiao Jing · 2026-10-16
- 哈佛提出 MPT：用「竞标市场」训练去中心化 Agent 集群自组织 — Harvard · 2026-10-16
- MIT 生物系联合计算学院招聘计算生物学助理教授，欢迎生成式 AI 方向 — anshulkundaje · 2026-10-16