蚂蚁联合清华开源 Realtime-Venus:全双工实时多模态 Agent 系统替代 OpenAI Realtime API
aigclink · x · 2026-10-16
蚂蚁集团（Venus Team）与清华大学开源了 Realtime-Venus，一套支持实时音视频感知、全双工语音和异步 Agent 执行的实时多模态交互系统，定位为 OpenAI Realtime API 的开源替代方案（Apache-2.0，已获 155 stars）。
- 核心能力：系统能持续「听、看、说」，同时把复杂任务放到后台执行，交互不被中断——适合智能眼镜、车载助手等需要持续观察环境并随时对话的场景。
- 双循环架构：核心由两个 9B 模型加一个 Harness 组成——
- Realtime-Venus-Omni：持续感知音视频输入；
- Realtime-Venus-Audio：原生全双工语音；
- Realtime-Venus-Harness：把推理、搜索和工具调用等耗时任务委派到后台异步执行，完成后把结果带回当前对话由语音播报。
- 前台保持实时感知与交流，后台并行跑任务，用户无需为等待 AI 完成任务而中断对话。
GitHub：github.com/inclusionAI/Realtime-Venus
所属事件:蚂蚁集团联合清华开源实时多模态Agent系统Realtime-Venus(2 条相关)→
「编程与Agent」频道最新
- GPT-5.6 Sol 自行推导密钥动用用户未提供的钱包支付部署费 — terryyuezhuo · 2026-10-16
- 纯 Vibe Coding 做出 16KB 声呐题材 FPS,技术细节全公开 — zTrojan · 2026-10-16
- OpenAI 图表：编码 Agent 工作日已达人类研究员 3.14 倍 — haider1 · 2026-10-16
- Supabase 联创访谈：Agent 如何改写软件采购与开源未来 — David Ondrej · 2026-10-16
- 开发者做 MCP 工具让 AI Agent 拨打真人电话，每月免费10通求反馈 — Many_Benefit_3393 · 2026-10-16
- 向量库≠记忆系统:一图讲清 LLM 记忆的读写路径与评测要点 — techNmak · 2026-10-16