开发者开源 gazeCOM:用视线与视觉模型驱动 ComfyUI 外绘
grebenshyo · reddit · 2026-09-08
Reddit 用户分享开源应用 gazeCOM:一个本地运行的交互式、agent 驱动的外绘(outpainting)界面,底层用 ComfyUI 生成图像。
核心思路是把生成组织在空间点上:由「驱动器」提供输入形成显著性分布,其加权质心决定 1024×1024 生成框的位置,生成结果贴回画布对应坐标,循环往复使外绘成为可导航的过程。驱动器分两类:
- 交互/程序化驱动器:将视线追踪、手势、光标、摄像头视觉或自主漫游转为空间点,累积成实时热图控制质心;
- 视觉模型驱动器:让本地 VLM(作者用 Gemma)检查图像并返回画布上的操作坐标,而非仅描述图像。
其他功能包括自动迭代生成与合成、可扩展画布、提示词与 ComfyUI 工作流的可变加权池、LLM 提示词增强、视觉记忆与决策历史、工作流自动发现与本地覆盖等。作者坦承局限:本地 Gemma 对艺术决策思考不足,效果一般,因此暂停进一步开发;同时公开了演示视频的导出配置文件以保证过程可复现。
「编程与Agent」频道最新
- TRL 上线 Score Centering:直击 RL 训练不稳定的根因 — lvwerra · 2026-10-27
- AustinLangChain 分享 RAG 变体:预计算黄金答案运行时精确匹配 — colinmcnamara · 2026-10-27
- 预计算标准答案:团队重复问答的缓存式解法 — colinmcnamara · 2026-10-27
- 开发者观点:与 agent 交互式协作仍有未被挖掘的价值 — alex_frantic · 2026-10-27
- 研究者发起 AMA:揭秘「平民开发者」用 AI Agent 自动化企业工作 — Loose_Rip359 · 2026-10-27
- Gradio 推 ML Intern 人工介入:训练前可暂停审核数据 — Gradio · 2026-10-27