Marimba 论文:0.6B 冻结 ASR 打造语音系统一模型,多项指标胜 30B
solanotodesch · reddit · 2026-11-16
作者发布 Marimba 论文(arXiv:2611.18330):一个基于冻结 Qwen3-ASR-0.6B 编码器的「系统一」语音模型,每 8 秒窗口只需一次前向,即可并行回答多个类型化问题并返回校准概率。
- 方法:词项检测用解码器 greedy + 4-beam 假设打分再 Platt 校准,零样本无需训练;语言识别用 ASR 自带分数;轮次结束、说话人变化与计数用冻结层(18/12 层)上的小型读出头。
- 结果:同样 1000 道公开题,9 项中 6 项持平或胜过 Qwen3-Omni(30B-A3B);FLEURS 语言识别 300 条 100%;说话人变化 AUROC 0.966-0.980 超过 ECAPA,计数胜 pyannote 3.1。
- 短板:轮次结束检测在 Smart Turn 自家测试集上 0.930 vs 0.982;对未见任务(CochlScene 场景分类)不泛化。
- 开源:代码、Apache-2.0 权重与 HF Demo 均已放出,可 pip install marimba-audio。
所属事件:Marimba:0.6B 冻结 ASR 打造的开源语音决策模型(2 条相关)→
「多模态」频道最新
- 谷歌官方展示 Gemini 4 Hydrogen 生成视觉 ASMR,已向全员开放 — GeminiApp · 2026-11-17
- Bria 开源 RMBG-3.0 抠图模型,自称基准第一并配 MCP 接入 — victormustar · 2026-11-17
- 同一提示词实测:Grok Chat 与 Grok Imagine 视频生成对比 — minchoi · 2026-11-17
- 无需动捕和Gaussian Splatting:Seedance 2.5 灰模视频直出成品动画镜头 — minchoi · 2026-11-17
- 世界大赛本垒打被做成 Gaussian Splat,可从捕手视角回看挥棒 — minchoi · 2026-11-17
- 整间房间生成 Gaussian Splat 后在 Blender 中重新打光 — minchoi · 2026-11-17