NetHack 移植赛无人达到 100%,David Bau 谈 AI 代码正确率与可读性取舍
davidbau · x · 2026-10-31
David Bau 撰文讨论 agentic coding 的盲区:各评测都在奖励「又快又便宜地拿到 85% 正确率」,但编码不是机器学习,15% 的错误意味着 100% 不可接受。
- 在 Teleport 编码挑战中,多个 agent 集群耗时数月尝试把 NetHack 5.0 从 C 完整移植到 JavaScript,至今没有任何参赛者达到 100%;即使用转译器方案的 NoahBPeterson 也只到 99.5% 屏幕一致率。最后 1% 极难。
- 转译器的成功反而说明:当目标是 100% 正确时,让 AI 写一个解决该问题的程序,往往比直接翻译原代码更有效。
- Bau 提出「正确但不可读?」的问题:如果系统 93% 正确且代码是一团乱麻怎么办?他给出部分接近 100% 正确且可读性接近人写代码的参赛作品,呼吁 vibe coder 们把代码可读性作为可解释性指标来度量。
- 结论上升到大局:AI 时代仍将有稀缺与取舍,世界会更复杂,人类的核心挑战是 insight。
所属事件:NetHack 移植挑战赛：AI 正确率高但可读性差引反思(3 条相关)→
「漫话AGI」频道最新
- Gary Marcus 梵蒂冈见教皇，转述教皇关于 AI 的五点核心主张 — GaryMarcus · 2026-10-31
- 经济学人调查：越非西方越乐观，法美最看衰 AI — soumitrashukla9 · 2026-10-31
- Aaronson 谈 AI 或将破解主流加密：责任披露该通知谁？ — coherence · 2026-10-31
- 编码 agent 会拼机器人程序还会建仿真器，世界模型公司价值何在 — bigdata · 2026-10-31
- Proton CTO 发布 AI 宣言引发员工抗议，dhh 称 memo 并无可耻之处 — inductionheads · 2026-10-31
- Metaculus 预测：2027 年 7 月前开源模型达超人类黑客水平概率 96% — SpencrGreenberg · 2026-10-31