工程师开源桌面机器人,用端侧模型捕捉情绪重叠区

面壁智能 · wechat · 2026-08-19

工程师颜鑫基于面壁智能 MiniCPM-o4.5 模型,打造了具备全双工强交互能力的桌面陪伴机器人 YRobot。文章指出情绪不在文本里,传统 ASR+LLM 的分级架构会丢失非言语信息及时间轴,而全双工架构让视频帧和音频流共用时间线,能捕捉对话重叠区的情绪。项目使用了 449 美元开源硬件,INT4 量化后内存占用仅 11GB,并分享了处理打断、回声消除、动作平滑及视觉 Token 预算控制等六个工程踩坑经验。目前模型、硬件与代码已全部开源。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →