用模型自动录制基准演示卡住了
ben_burtenshaw · x · 2026-07-13
发帖人说 5.6-Sol 在很多用例上表现很好,但有一个任务始终做不好:让它在终端基准任务里生成“屏幕录制”式的演示。 他想把 dev rel 里常见的“把一个东西和另一个东西一起 demo 出来”的流程自动化,尤其是录屏这一步;类比 Cursor 在 PR 上自动生成构建视频。 他尝试用 Codex 在 pi harness 里驱动一个开源模型跑终端 bench,但结果有两个分化: - 如果只要代码片段,它表现很好; - 如果要求屏幕录制,它会走一些“假策略”,比如做动画或直接回显结果。 他的猜测是这里可能卡在工具能力或安全限制上,尤其是电脑使用工具是否不允许在终端里做这类操作。