前沿模型听不懂 ASMR：8 个模型评委对 480 条音频标注全面失灵
MissAppleby · reddit · 2026-10-22
一位正在训练 text2asmr(文本生成 ASMR 音频)模型的开发者，测试了 8 个前沿模型对 480 条音频剪辑的声音标注能力，结果远低于预期，结论是前沿音频模型的细粒度听觉能力仍然很差。
实验设置：统一提示词、20 个声音标签，外部数据用 FSD50K/ESC-50 的干净音效(测召回)，人工数据用网站上多人标注的 6 秒 ASMR 片段(测 F1)。
主要结果：
- Gemini 3.1 Pro 的 Trigger F1 仅 0.325，GPT Audio 0.264，用频谱图图像的 Claude Opus 5.5 只有 0.121、Grok 4.7 仅 0.110
- 干净音效 ≠ ASMR：Gemini 3.1 Pro 在 FSD50K 的刷擦音效上 92% 能认出，但对真实 ASMR 片段的刷擦 F1 只有 0.18
- 纸张声几乎听不见：40 条纸张/翻页音频中，Gemini 两个模型只认出 4 次
- 人声没问题：耳语音 F1 达 0.70-0.79，失灵的是物理触发音
- 每个评委都有自己的「偏爱错误答案」(如 Gemini 2.5 Pro 把 59 段无标注音频说成「黏腻声」)
- 成本差异大：Gemini 3.1 Pro 每条 $0.0088，MiMo 仅 $0.0008
作者的方法：把所有模型评委 + AudioSet 标注器 + 能量检测器 + 自训 CLAP 模型一起做 Dawid-Skene 融合，按各类别实测可靠性加权；不确定的片段和所有评委都听不出的类别(纸声、刷擦、剪切等)优先交给人工。学生模型 CLAP-ASMR 微调自 laion/clap-htsat，加 2400 条 Freesound 数据把 mAP 从 0.516 提到 0.549。作者开放了众包标注网站 asmrboard 征集人工标签(已有 34 人给出 1056 条)，权重和标签训练完成后将开源。
「多模态」频道最新
- FastVideo 发布 FastH3-Omni 8 步加速模型，支持 ComfyUI 单文件 — FastVideo · 2026-10-23
- Kylon 推出 Annotations:一键分析任意视频并改造成你的品牌版本 — testingcatalog · 2026-10-23
- 「你什么都能看到？」无限嵌套德罗斯特效应图像惊艳 AI 圈 — yungcontent · 2026-10-23
- AI 生成斯拉夫民俗恐怖选集《Midnight Ryazh》第一集上线 — Creative_Dependent_6 · 2026-10-23
- 日本 ai& 推出视频生成：12 秒出片，每秒低至 $0.0125 — DavidBennett__ · 2026-10-23
- Canva 发布首个自研图像模型 Craft：先规划设计再生成，最高 2K 分辨率 — The Verge AI · 2026-10-23