Karpathy 巨资推荐：用「骑自行车的鹈鹕」测大模型写代码

karpathy · x · 2026-08-03

Andrej Karpathy 转发了 Simon Willison 在 AI 工程师大会上的演讲，并上传了相关源码使其可直接在浏览器中运行和 Fork。

Willison 在演讲中提出，由于近期发布的 30 多个重要模型让人眼花缭乱，且传统基准测试和排行榜逐渐失去公信力，他越来越依赖自己发明的「骑自行车的鹈鹕」测试：要求纯文本大模型生成对应的 SVG 代码来画出这个图案。这种通过代码生成能力来间接考察模型逻辑与多模态理解的方法，正变得越来越实用。