Shelley 新玩法:录屏加口述当提示词,agent 一次修好 bug
davidcrawshaw · x · 2026-10-01
davidcrawshaw 转发并评论 exe.dev 博客:Shelley 现在可以把屏幕录制当作提示词——按下录制,边操作边口述问题,点几下,agent 就能拿到转录文本加对应视频作为 prompt。他认为这类功能现在可以轻松做进任何软件,本该是操作系统级、跨所有应用的能力。
博客原文要点(作者 Philip Zeyliger):
- Shelley 新技能:不用打字,直接录制语音和窗口/屏幕;停止录制后,Shelley 把转录文本与匹配的视频拼在一起,作为 prompt 交给 agent。
- 实例:Shelley 有个 bug——发送「Compact and Send」后导航到另一个会话,导航会跳回原会话。作者没有用文字描述,而是新开会话录了一段复现视频(未剪辑,仅裁掉快捷键和地址栏,加了旁白并加速)。
- 视频里满是「嗯」、摸索该点哪里等,很难看,但作者下一条消息只说了「push」,agent 就根据所见复现并一次性修好了 bug,全程没打字。
结论:值得一试屏幕录制。
「编程与Agent」频道最新
- 递归自我改进易过拟合,Google 提出 RRSI 让 agent 泛化 — burkov · 2026-10-01
- 用 Codex 插件在 Game Boy 硬件上复刻 Minecraft,OpenAI DevDay 名场面 — pvncher · 2026-10-01
- 一张图+一句提示词做完整说话视频:30分钟5美元 — gorkem · 2026-10-01
- tldraw 推出 ChatGPT 插件:画应用逻辑图,Codex 直接生成代码 — DavidKPiano · 2026-10-01
- 把 Claude 记忆塞进笔记仓库并自动 commit — theshawwn · 2026-10-01
- 投行从业者用 Claude 业余 2 个月做出机构级金融情报平台 — nikhil_pratap · 2026-10-01