600k 行纯 Python 规则写出的 PyBot 数学胜过 Llama 2 70B

lvwerra · x · 2026-11-19

一个无权重、无训练的纯规则聊天机器人 PyBot 在 GSM8K 上拿到 15.2%,超过 Llama 2 70B 的 11.6% 和 GPT-3.5 davinci-003 的 12.6%,距 2023 年 ChatGPT 的 23.8% 仅差 8.6 个百分点(均为无 CoT 的直接回答对比)。

这是对 LLM 基线成绩的反讽式基准实验,也是「用编程 agent 大规模生成规则代码替代模型权重」的趣味演示。

原文链接 →

「Fun」频道最新

更多「Fun」频道 AI 资讯 →