开发者构建 SynTalk：用手套传感器+视觉把手语转成文字语音

garvgoel05 · reddit · 2026-11-07

开发者 Garv Goel 发布 SynTalk，一个结合可穿戴硬件、计算机视觉和机器学习的手语通信系统，可将手势转换为文字和语音。核心工程挑战是融合两种异构输入：摄像头的 MediaPipe 手部关键点与传感手套的弯曲传感器读数——两者表示同一手势但数据结构完全不同，作者选择保持各自的特征提取与分类器独立，再建共享通信接口。系统还接入 Hindsight 作为持久记忆层，让助手能保留跨会话的交互上下文。项目已开源（GitHub）并附架构详解文章。