老程序员把 Herbert 编程挑战改造成 Agent 基准,附完整提示词
nankezhishi · reddit · 2026-10-14
作者认为知名基准随时间被污染,于是把 10 多年前参加过的微软 Imagine Cup 算法游戏(Herbert)改造成一个可粘贴给任意 Agent 的编程基准题:按给定语言 spec 写最短程序,控制机器人在 25×25 棋盘上点亮所有目标点,含陷阱会清空已点亮目标、无分支无传感器、仅靠数值参数 ≤0 跳过程序调用来终止递归等精巧规则。
- 评分:得分 = 点亮目标比例 × (80 + 20 × (1 − 字节数/上限)),鼓励更短程序;判定器限 100 万步、100 万次 VM 展开、4096 非尾调用帧、16 KiB 源码。
- 用途:一是比较模型在这类需要深度思考的问题上的智力;二是定期重测以检测模型智能是否退化。
- 作者附了完整可复制的 prompt,并给出其(虚构命名的)Gemini 3.8 Flash 得到 26 字符解、GPT-6.1 Sol (High) 得到 20 字符解的结果。
「编程与Agent」频道最新
- 10 个 GitHub 仓库揭秘 Cursor/Claude 等工具系统提示词,最高 17 万星 — victor_explore · 2026-10-14
- Dimillian 发长文:用 Codex 打造跨 Mac/iPhone/Web 游戏 Dark Veil — Dimillian · 2026-10-14
- 让 Agent 学会预知失败:结局导向置信校准 AUROC 达 0.85 — SAP · 2026-10-14
- 工程师提醒:过时代码注释是 agent 陷阱,删掉大部分更好 — weswinder · 2026-10-14
- CMU 论文:Agent 违规日志几乎无法举证,结构化记录可提升至 83% — rohanpaul_ai · 2026-10-14
- Gemini 4 Argon 实操:服务端后台执行跑长推理,输出可达 26 万 token — rseroter · 2026-10-14