学生打造 SynTalk：视觉+传感手套双通道手语转语音系统

AlphaBox05 · reddit · 2026-11-07

开发者 Garv Goel 介绍了 SynTalk，一个手语辅助通信系统，结合可穿戴硬件、计算机视觉和机器学习把手语转为文字和语音。工程难点在于融合两种数据结构完全不同的输入：摄像头的 MediaPipe 手部关键点与传感手套的弯曲传感器读数——他选择让两者的特征提取与分类器各自独立，仅共享通信接口。系统还接入 Hindsight 作为持久记忆层，让助手能保留跨会话的交互上下文与个性化信息。项目已开源（GitHub）并上线 demo 网站，完整架构文章发布在 Medium。