京东开源JoyAI模型矩阵:AI眼镜助视障者,世界模型EchoWM亮相
新智元 · wechat · 2026-09-10
京东在 JDD 大会发布并开源 JoyAI 基础模型矩阵,核心是一副面向全盲及低视力人群的 AI 眼镜和一套面向物理世界的模型体系。
AI 眼镜与交互模型
- 眼镜接入 JoyAI-VL-Interaction:8B 规模、以视觉为核心的交互模型,全球首个全栈开源的 interaction 模型系统,把感知、推理、交互决策融进同一模型,对持续视频流实时判断「何时开口、何时闭嘴」,响应亚秒级;复杂任务异步交给后台 Agent。
- 58 项真人盲评中,对比豆包视频通话胜率 77.6%,对比 Gemini 胜率 87.9%。
世界模型 JoyAI-EchoWM
- 实时可交互世界模型,强调「交互保真度」而非单纯物理保真:根据控制信号持续生成并动态调整画面与声音,环境音、语音同步演化。WBench 导航评测综合分 81.7、交互分 87.2。
数据与具身管线
- EgoLive:2000 小时 60fps 双目视频、65866 段数据、346 个真实场景任务,号称最大开源第一人称任务导向数据集。
- JoyAI-Sim 仿真工具链与真机一致性 90%,效率提升 3.2 倍;JoyAI-RA0.5 为 VLWA 框架,用双重动作对齐学跨异构数据操作。
行业模型
- 京医千询 3.0 在 HealthBench 双榜第一,3D 阅片准确率超 GPT-5.5 近 15 个百分点;JoyIndustrial 2.0 经受超 10 亿次工业调用;VisCAD 1.0 设计任务准确率领先通用模型 15%。
战略路线
京东探索研究院副院长段楠提出 AI 第五次变革是从数字世界走向物理世界,分数字智能、附身智能、具身智能三步,并给出里程碑:2026 年底全模态实时交互模型达世界顶级,2027 年具身数据集规模化并落地,2028 年 JoyAI 矩阵服务千行百业。
「具身」频道最新
- 9月25日加州 Salinas 农场机器人活动聚焦农业自动化 — Scobleizer · 2026-09-10
- 35年部署20亿次拾取的老兵开直播:真实包裹分拣每小时2200-2400件,远超Figure演示 — BradPorter_ · 2026-09-10
- A19 Pro 四核算力 140 TOPS,A20 Pro 端侧推理或超 140 TFlops — AIFlow_ML · 2026-09-10
- Mom Clock 之后又出 Dad Clock,网红闹钟凑成一家人 — LuoSays · 2026-09-10
- 六年前今天首发开箱，博主晒出全新微软Surface Duo — revodavid · 2026-09-10
- 南洋理工等发布 Puffin-World：统一世界模型原生表达 3D 世界状态 — ccloy · 2026-09-10