蚂蚁国际提出 Heartbeat Thinking，语音 agent 响应延迟降 36.4%
ant-intl · hf · 2026-10-23
蚂蚁国际（Ant International）发布论文 Heartbeat Thinking: Speculative Reasoning and Tool Execution While Listening in Realtime Voice Agents，解决工具调用型语音 agent 的等待问题。
- 问题：工具型语音 agent 通常等用户说完才动手，即使用户话说到一半时关键信息（如日期、地点）已经齐了；已有的投机执行方案受 chunk 边界或「有更新即中断」的限制，工具调用常在参数补全前被截断。
- 方法：Heartbeat Thinking 允许在语音更新持续到达时保持进行中的 invocation 不被打断，由其跑完工具调用；周期性的「心跳」读取最新部分转写文本和已完成推理/工具结果的共享记录，用来补齐缺失参数、发起依赖调用，让准备工作跨语音更新持续推进。
- 结果：在 SpeechFCEval、FDBench v3、AudioCRAG 三个基准上，相比 SHANKS 式窗口基线提升了投机工具调用覆盖率与检索复用；FDBench v3 上工具覆盖率提高 16 个百分点，最终响应平均延迟降低 36.4%，且不损害任务质量。
论文已上传 arXiv（cs.CL），对做实时语音 agent 的团队有直接参考价值。
「编程与Agent」频道最新
- 风投合伙人断言：2027 年公司无法再雇佣不用 agent 的工程师 — latticecut · 2026-10-23
- Opus 5.5 全代码生成科幻片头：配乐也是合成的，每帧每音皆代码 — prasenx · 2026-10-23
- 医疗行业隐私限制下，本地 AI 生成幻灯片的两种可行方案 — AdRepulsive7837 · 2026-10-23
- MiniMax Design MCP 上线,可在 Codex 等 Agent 内直接调用设计能力 — Hailuo_AI · 2026-10-23
- 开源 RAG Verifier:专查分块截断与引用不实两大盲区 — hlcAlex · 2026-10-23
- 南洋理工 RouteWeaver:统一多模式 LLM 路由框架 — NanyangTechnologicalUniversity · 2026-10-23