markuprx:把口述录屏一键拆成多条 MCP Issue 的开源工具

TitleNo1715 · reddit · 2026-09-04

作者开源了 markuprx——一个解决「agent 有整个 repo 却看不到屏幕」痛点的 MCP server(MIT、免费、全本地、无遥测)。

核心设计:与一般录屏工具把整段视频/截图丢给模型不同,它以「标注」为输出单元——按住修饰键圈出问题的同时口述,每次圈选生成一条独立 issue(如 MX-001),附带裁剪后的帧和当时的旁白片段;一次圈三个问题就得到三条可独立执行的 issue。

技术管线:macOS 原生采集 API → 本地 Whisper 转写 → 启发式定位「你正在描述问题」的片段 → ffmpeg 按时间戳抽帧 → 标注与旁白对齐后输出结构化 Markdown。无 Electron 依赖,桌面端与 CLI 共用管线;仅在你自备 key 时才用云端转写(因录屏可能带上屏幕上的敏感内容)。

配置:npx --package markuprx markuprx-mcp,提供 screenshot 分析、语音采集、视频分析、录屏启停等 6 个工具。

作者自曝短板:旁白与标注的对齐是启发式的,圈选后继续聊别的问题可能错配;发现项按像素区域锚定,布局一变引用就失效——社区建议加稳定选择器或邻近文本锚点,尚未实现。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →