Marimba:冻结Qwen3-ASR特征实现语音「系统一」决策,9项测试6项平或超Qwen3-Omni
charcot-ai · hf · 2026-11-18
charcot.ai 发布论文与开源项目 Marimba,一个面向语音的「类型化决策」接口模型,基于冻结的 Qwen3-ASR 0.6B 特征加轻量读出头,从单次音频窗口中同时回答多种问题:词项是否出现、说话人是否说完(turn-end)、语言识别、说话人切换、个人信息(PII)检测等。
- 架构:词法问题用 ASR 解码器假设的零样本打分加 Platt 校准;非词法问题用问题条件头和第 18 层 turn-end 读出;语言识别直接用 ASR 自带语言分数;每个 8 秒窗口只编码一次。
- 成绩:会话测试集 decoder AUROC 0.80–0.92,公开朗读语音 0.92–0.97;Speech Commands 四分类准确率 0.93;说话人切换检测 AUROC 0.966–0.980,超过 ECAPA 基线,数说话人比 pyannote 3.1 更准;turn-end AUROC 0.930。
- 与 30B 级的 Qwen3-Omni 和 7B 的 Qwen2-Audio 对比,0.6B 特征的 Marimba 在 9 项测试中 6 项持平或更好,且概率经过校准,适合语音 agent 的接受/转人工决策。
- 代码与权重均已开源(Charcot-AI/marimba-api、charcot-ai/marimba)。
「多模态」频道最新
- World Labs Atlas 新演示:第一人称探索手绘草图生成世界 — XRarchitect · 2026-11-18
- 「它们一直都在」:复古胶片质感蝙蝠侠骑马 AI 图刷屏 — gizakdag · 2026-11-18
- AI 重制《功夫梦》变 1971 年复古风,效果惊艳 — techhalla · 2026-11-18
- Retrolab:ComfyUI 实时胶片模拟节点,内置 Anti-AI 滑块 — listopalafoto · 2026-11-18
- AI 3D 引擎 Kaigen 获 10 万美元游戏 jam 官方支持,与 Unreal 同台 — gdechichi · 2026-11-18
- Trelis 发布首个语音到语音预训练数据集:双轨音频 token 加说话人与情绪标注 — morgymcg · 2026-11-18