jessicata 实测:AI 编程工具写个简单 eval 框架耗两天,不如自己动手
jessi_cata · x · 2026-11-15
AI 安全研究者 jessicata 质疑「编程将被 AI 全面自动化」的论调，并给出第一手数据点：
- 她最近的一项研究需要写一个看似很简单的 eval harness，用 Astra + Codex（Sol 6.1）照规格实现竟花了约 2 天，大量时间在等模型跑完——她自己写可能也只要 2 天，AI 没带来明显提速
- 她推测 Anthropic 员工是极端重度用户（高 token 用量、深谙用法、训练模型配合自己），而 AI 安全研究者多为普通用户；Anthropic 可能高估了自己的 uplift
- 引证 Jellyfish 等研究显示 AI 在软件工程中收益偏低，但也承认这些研究可能已过时
在后续讨论中，davidmanheim 反驳：关键不只是同一类工作做得一样好，而是 AI 便宜三个数量级以上——「速度和便宜本身自有一种质量」。jessicata 回应称双方分歧应落脚在一个可检验的关键点上：能否全自动写出大型非正式规格的应用。
「漫话AGI」频道最新
- 保险研究者反驳编程被自动化论:AI 难整建制替代程序员团队 — davidmanheim · 2026-11-15
- 不会 API key 的老板用 Claude 搭系统,30 天单笔成交净赚 4.15 万美元 — aryanXmahajan · 2026-11-15
- 马斯克转发网友观点：「我们已毫无疑问实现了 AGI」 — elonmusk · 2026-11-15
- AI 研究者断言就业冲击已内置于现有技术,非能力未到 — davidmanheim · 2026-11-15
- 「智能创造力量，为何默认它有权使用？」一条值得琢磨的追问 — PierceLilholt · 2026-11-15
- 争论 AI 替代程序员:不必替代每个任务,可整单位替代 — davidmanheim · 2026-11-15