房东用全本地 AI 把巡房视频自动变 Trello 维修清单
gregmushen 分享了一个解决自己实际痛点的自动化项目:他持有一处房产,每次巡检要录 25-30 分钟视频,再手动过一遍、截图、把维修项录入 Trello,非常耗时。为此他自建了一套全本地 AI 流水线,从巡房视频自动提取维修截图并生成 Trello 维修待办,一次处理约跑 2.5 小时,全程无需云端模型。
已确认
- 技术选型:用 Silero VAD v5.1.2 先去除视频静音段,避免 Whisper 在静音处产生幻觉;再用 Whisper-Large-v3-turbo 做语音转写;由 Gemma 3 8B(Q4KM 量化)负责提取维修相关信息
- 产出形态:自动整理出维修项目清单,点击任一维修项可看到维修内容、对应截图,并直接跳转到视频中谈到该问题的片段;整体是一个汇集全部维修项的复查仪表盘,Gemma 读取转写并经代码校验筛出维修项,再在视频中定位 6 个候选帧并选出最佳帧
- 开发方式:先用 Astra High 写规格说明与实现计划,让 Opus 5.5 审查后再写目标端到端完成开发并附带测试;Opus 5.5 担任 orchestrator,开发交给多个子智能体执行
- 插曲:作者启动任务后出门吃饭,发现自己在 Cmux 里没设 remote 无法查看进度,于是让 Codex 用 computer use 进入终端执行 /remote-control 命令远程救场
- 作者自评:这套方案放在该任务上过去会显得“杀鸡用牛刀”,但确实省下海量时间;更重要的是消除了杂务带来的压力与心理负担——他以前只记录维修项,不会整理出有条理的视频
为什么重要
- 展示了「VAD 前置 + 语音转写 + 本地小模型结构化提取」这一可复用的视频理解流水线,对静音幻觉的处理是实用的工程细节
- 全本地运行意味着隐私敏感的房产/巡检影像无需上传云端
- 开发环节的多智能体分工(规划、审查、子智能体执行)以及用 computer use 补救远程操作失误,都是值得参考的 AI 辅助开发与运维范式
2026-10-09 ~ 2026-10-09 · 11 条相关
一手来源
- 用全本地模型把房产巡检视频自动变成维修清单 — gregmushen ·
- 技术拆解:Whisper+Silero VAD+Gemma 3 全本地跑通视频维修提取 — gregmushen ·
- 全本地 AI 流水线:看房视频自动转 Trello 维修清单 — gregmushen ·
- 【源头】用全本地模型把房产巡检视频自动变成维修清单 — gregmushen · 2026-10-09
- 房东巡楼录像太费时,他用 AI 自制工具自动提取维修截图 — gregmushen · 2026-10-09
- 多智能体分工开发:规划、审查、子智能体执行一气呵成 — gregmushen · 2026-10-09
- 忘了开远程监控?让 Codex 用 computer use 帮你补救 — gregmushen · 2026-10-09
- 【源头】全本地 AI 流水线:看房视频自动转 Trello 维修清单 — gregmushen · 2026-10-09
- 全本地跑 2.5 小时出结果,还用 Codex computer use 远程救场 — gregmushen · 2026-10-09
- 【源头】技术拆解:Whisper+Silero VAD+Gemma 3 全本地跑通视频维修提取 — gregmushen · 2026-10-09
- 维修复查仪表盘曝光:默认样式、字面化的"Claude 风" — gregmushen · 2026-10-09
- AI 接管生活琐事:省下的不只是时间,还有心理负担 — gregmushen · 2026-10-09
- 点击维修项直达视频对应片段,AI 巡检工具展示效果 — gregmushen · 2026-10-09
- "过去看着像杀鸡用牛刀"——作者谈 AI 巡检工具省下的时间 — gregmushen · 2026-10-09