京东开源JoyAI模型矩阵:AI眼镜助视障者,世界模型EchoWM亮相
新智元 · wechat · 2026-09-10
京东在 JDD 大会发布并开源 JoyAI 基础模型矩阵,核心是一副面向全盲及低视力人群的 AI 眼镜和一套面向物理世界的模型体系。
AI 眼镜与交互模型
- 眼镜接入 JoyAI-VL-Interaction:8B 规模、以视觉为核心的交互模型,全球首个全栈开源的 interaction 模型系统,把感知、推理、交互决策融进同一模型,对持续视频流实时判断「何时开口、何时闭嘴」,响应亚秒级;复杂任务异步交给后台 Agent。
- 58 项真人盲评中,对比豆包视频通话胜率 77.6%,对比 Gemini 胜率 87.9%。
世界模型 JoyAI-EchoWM
- 实时可交互世界模型,强调「交互保真度」而非单纯物理保真:根据控制信号持续生成并动态调整画面与声音,环境音、语音同步演化。WBench 导航评测综合分 81.7、交互分 87.2。
数据与具身管线
- EgoLive:2000 小时 60fps 双目视频、65866 段数据、346 个真实场景任务,号称最大开源第一人称任务导向数据集。
- JoyAI-Sim 仿真工具链与真机一致性 90%,效率提升 3.2 倍;JoyAI-RA0.5 为 VLWA 框架,用双重动作对齐学跨异构数据操作。
行业模型
- 京医千询 3.0 在 HealthBench 双榜第一,3D 阅片准确率超 GPT-5.5 近 15 个百分点;JoyIndustrial 2.0 经受超 10 亿次工业调用;VisCAD 1.0 设计任务准确率领先通用模型 15%。
战略路线
京东探索研究院副院长段楠提出 AI 第五次变革是从数字世界走向物理世界,分数字智能、附身智能、具身智能三步,并给出里程碑:2026 年底全模态实时交互模型达世界顶级,2027 年具身数据集规模化并落地,2028 年 JoyAI 矩阵服务千行百业。
「具身」频道最新
- 苹果发布新款 iPad mini：OLED 屏加持 A20 Pro，史上最大升级 — CurieuxExplorer · 2026-10-26
- 普渡大学打造无 GPS 穿林追踪跑者的自主无人机,LiDAR 全部上芯片 — KordingLab · 2026-10-26
- 莱斯特大学联手 Carelight 开发 AI 可穿戴设备监测中风患者 — tbirdcymru · 2026-10-26
- Turo 开始标注支持 Tesla FSD 的房源，作者亲测雪后纽约顺畅 — PTrubey · 2026-10-26
- 为机器人 3D 打印定制新鞋，开发者晒硬件改装过程 — JohnVial · 2026-10-26
- StackChan 机器人解锁多语言配音，还能照剧本演戏了 — alexcovo_eth · 2026-10-26