600k 行纯 Python 规则写出的 PyBot 数学胜过 Llama 2 70B
lvwerra · x · 2026-11-19
一个无权重、无训练的纯规则聊天机器人 PyBot 在 GSM8K 上拿到 15.2%,超过 Llama 2 70B 的 11.6% 和 GPT-3.5 davinci-003 的 12.6%,距 2023 年 ChatGPT 的 23.8% 仅差 8.6 个百分点(均为无 CoT 的直接回答对比)。
- 代码约 60 万行 Python 规则,由 Codex 智能体集群在约 1.5 天内写出(前作 PyBot 为 1000 个 agent 一周);
- 训练过程是 16 轮、每轮 6 个并行 Codex agent 迭代修改规则文件;
- 在线 demo 用 Pyodide 运行,回答时能看到是哪个模块/文件「赢得了」这次回复;代码开源于 github.com/zw2700/pybot-math。
这是对 LLM 基线成绩的反讽式基准实验,也是「用编程 agent 大规模生成规则代码替代模型权重」的趣味演示。
「Fun」频道最新
- 用户耳疾次日,AI 硬件 Dot 主动发来随访提醒 — HannsGruber · 2026-11-19
- 热传反 AI 歌曲视频被指非 AI 创作,实为反 AI 论调的视觉复读 — TinfoilTricorn · 2026-11-19
- AI 编程助手看录像后大笑:你 45 秒就抓到三个明显 bug — jacalulu · 2026-11-19
- GTA6 被调侃:千禧一代幻想当黑帮,Z 世代幻想有女友 — AIandDesign · 2026-11-19
- 「意识讨论执照」梗图走红,调侃人人都谈 AI 意识乱象 — alexisgallagher · 2026-11-19
- 被逼用中文翻 Kubernetes 术语,最佳答案竟是慢速念 helm chart — michellechen · 2026-11-19