开发者开源 gazeCOM:用视线与视觉模型驱动 ComfyUI 外绘
grebenshyo · reddit · 2026-09-08
Reddit 用户分享开源应用 gazeCOM:一个本地运行的交互式、agent 驱动的外绘(outpainting)界面,底层用 ComfyUI 生成图像。
核心思路是把生成组织在空间点上:由「驱动器」提供输入形成显著性分布,其加权质心决定 1024×1024 生成框的位置,生成结果贴回画布对应坐标,循环往复使外绘成为可导航的过程。驱动器分两类:
- 交互/程序化驱动器:将视线追踪、手势、光标、摄像头视觉或自主漫游转为空间点,累积成实时热图控制质心;
- 视觉模型驱动器:让本地 VLM(作者用 Gemma)检查图像并返回画布上的操作坐标,而非仅描述图像。
其他功能包括自动迭代生成与合成、可扩展画布、提示词与 ComfyUI 工作流的可变加权池、LLM 提示词增强、视觉记忆与决策历史、工作流自动发现与本地覆盖等。作者坦承局限:本地 Gemma 对艺术决策思考不足,效果一般,因此暂停进一步开发;同时公开了演示视频的导出配置文件以保证过程可复现。
「编程与Agent」频道最新
- 开发者想为 AI agent 建非正式数学库,征名 mathgraph — Sauers_ · 2026-09-08
- Ix 用 tree-sitter 建代码库符号图谱,26 种语言即查即用 — tom_doerr · 2026-09-08
- 开发者自建 FreeBuff MCP,让 GPT 免费调用 DeepSeek 等 execution agent — Swimming_Ask3859 · 2026-09-08
- GitHub 把 agent 策略拦截归为 skipped 而非失败,监控语义更精细 — Crescitaly · 2026-09-08
- iMessage 版 AI 助手 Companion 发布:复用 ChatGPT 账号、支持 MCP — Scobleizer · 2026-09-08
- AI 写完烂代码还坚信能跑,网友吐槽被 AI「煤气灯」 — NachoSoto · 2026-09-08