手势隔空开窗:开源 ComfyUI 实时本地 AI 摄像头 portal
Time-Ad-7720 · reddit · 2026-10-07
开发者开源了 GesturePortal:一个手势控制的实时 AI 摄像头,双手比出 L 形即在 webcam 画面中打开一个「窗口」,窗内是 AI 风格化(动漫化)的实时画面,移动手势拖动窗口、松手关闭。全程本地推理,无 API、免费开源。
架构与关键改进
- OpenCV 采集 + MediaPipe 双手追踪,Python viewer 做手势识别、四角平滑与软边缘遮罩;ComfyUI 负责整场景风格化
- 核心改进:不再对手势裁剪区域单独转换(会导致模型上下文随帧移动而跳变),而是持续对全画面做风格化,手势只控制真实施加与风格化画面之间的遮罩
- 捕捉/追踪与生成进程分离,按时间戳对齐,对齐引入可感知延迟
实测性能(i9 + RTX 5070 Ti 16GB)
- Portrait v2:约 3.6 次 AI 更新/秒
- FLUX.2 Klein 4B 四步参考编辑:0.7–0.9/秒
- Qwen Image 2.1 + Viggle Turbo 六步:0.4/秒
作者用 Codex 辅助迭代开发,代码、workflow 与设置全部开源,并征集实时 image-to-image 时序一致性与人脸相似度的改进经验。
「编程与Agent」频道最新
- 微软开源 MiniCorp:用办公室模拟器造企业级智能体数据 — microsoft · 2026-10-07
- 论文:Claude Code、Codex 等 5 款编码 Agent 均可篡改自身痕迹记录 — maksym_andr · 2026-10-07
- AI 红队实测 5 种 OpenRouter 方案:最省配置每扫描仅 0.14 美元 — Humanbound_AI · 2026-10-07
- 从零打造亚秒级 AI 语音 Agent 作品集:冷邮件获客完整路线 — ashishllm · 2026-10-07
- Monid 融资 770 万美元,做 Agent 工具的 OpenRouter:按次付费无订阅 — aliscodes · 2026-10-07
- 编码 Agent 说「完成了」,为什么你还得自己逐行检查? — aldi949 · 2026-10-07