InvisibleMentor:看录屏自动发现更优工作流,无需 API 和提示词

burkov · x · 2026-11-12

介绍并评估 InvisibleMentor 系统:通过视觉驱动的任务反思,直接从屏幕录像推断用户已完成的操作,无需后端 API、事件日志或用户写提示词,进而推荐更优的自动化工作流。针对的痛点是:大量职场人重度依赖 Excel 等工具,却只用基础功能并重复手工低效操作;现有 AI 助手依赖显式文本查询,把组织精确提示词的负担压给用户。系统采用两阶段架构:先由视觉语言模型每 5 秒采样一帧屏幕画面,重建表格状态与操作序列,再据此给出更好的工作流建议。