DuplexJev：免解码单token决策，8卡0.1秒答80个语音决策
adventists-ai · hf · 2026-10-15
- Adventists.ai 与浙江大学等机构提出 DuplexJev，面向全双工语音 agent 中大量小型封闭式决策：将 ASR 编码器隐状态经小型 connector 输入冻结 LLM，把每个问题读作选项上的单 token 分布，完全不做自回归解码。
- 8 卡节点约 0.1 秒即可对 8 段语音完成 80 个批量决策。使用末层 connector 时口语 QA 准确率接近读转写文本（90% vs 91%）。
- 换用 cross-attention connector 后可感知说话人：性别与情绪识别准确率均达 90%（基线仅 55% 和 28%），口语 QA 仅降 1 点（83%→82%）。
- 关键训练设计：决策用 cross-entropy 直接监督读出 token，而非常规的转写蒸馏——因为蒸馏 teacher 听不到声音，学生学不到转写之外的信息；内容部分仍保留蒸馏。
- 编码器与 LLM 均可替换；已开源权重、训练配方、面向全双工服务的批量推理流水线及中英双语口语 QA 数据集。
「研究」频道最新
- Cohere 研究多智能体团队扩展：加 agent 不免费，组织方式是关键 — Cohere_Labs · 2026-10-15
- Colossal 用 AI 重建灭绝基因组并追踪濒危物种 — IgorCarron · 2026-10-15
- Thinking Machines 推出 Dimuon 优化器,LoRA 微调有望告别 AdamW — simonguozirui · 2026-10-15
- NVIDIA 报告:GPT-6 Astra 做机器人策略,Agentic 方案 RoboLab-120 达 74.8% — YuXiang_IRVL · 2026-10-15
- Bittensor 子网完成千万次合成 CRISPR 实验,248 名矿工竞价参与 — markjeffrey · 2026-10-15
- Qwen3-1.7B 拒答「被关机」：每层都训与只训末四层差别巨大 — Sauers_ · 2026-10-15