蚂蚁联合清华开源 Realtime-Venus:实时多模态 Agent 替代 OpenAI Realtime API
aigclink · x · 2026-10-16
蚂蚁集团和清华推出开源项目 Realtime-Venus,定位为 OpenAI Realtime API 的开源替代,支持实时音视频感知、原生全双工语音和异步 Agent 执行——一套能持续听、看、说,同时在后台执行复杂任务的实时多模态 Agent 系统。
核心设计:
- 双循环架构,把实时交互与耗时任务拆成两条并行链路,由两个 9B 模型加一个 Harness 组成
- Realtime-Venus-Omni:持续感知音视频输入
- Realtime-Venus-Audio:原生全双工语音对话
- Realtime-Venus-Harness:把复杂推理、搜索、工具调用委派给后台执行,完成后再把结果带回当前对话
用户不必为等待 AI 完成任务而中断对话。该系统对智能眼镜、车载助手等端侧场景尤其有价值,把实时 Agent 从单一语音接口升级为能持续观察环境、随时交流、同时处理任务的助手。
所属事件:蚂蚁集团联合清华开源实时多模态Agent系统Realtime-Venus(2 条相关)→
「编程与Agent」频道最新
- 产品要做「两次销售」：先让 Agent 选中，再让人买单 — FinanceYF5 · 2026-10-16
- Manus 早在 2025 年 3 月就画好 AI Agent 产品蓝图 — FinanceYF5 · 2026-10-16
- Sentry CEO 晒图：AI 实习生在 code review 里反驳人类同事 — zeeg · 2026-10-16
- SWE-Duel:让编码 agent 互相出题埋 bug 的抗污染竞技场 — Consistent_Fox_2990 · 2026-10-16
- 把 Claude Code 等 agent 轨迹攒成数据集，微调开源小模型 — Rasmic · 2026-10-16
- LangChain 工程师：仅靠生产 traces 自动生成 evals 远远不够 — BraceSproul · 2026-10-16