PostTrainBench: Can LLM Agents Automate LLM Post-Training?
Ben Rank, Hardik Bhatnagar, Ameya Prabhu, Shira Eisenberg, Karina Nguyen, Matthias Bethge, Maksym Andriushchenko
cs.SE, cs.AI, cs.LG
2026-03-10
前沿编程agent被要求在十小时内把4B基座训上指定基准。最佳成绩23.2%，官方Instruct模型51.1%；函数调用上可到89%，超过官方67%。
Agent已经能在仓库里写代码、跑实验、改到过。下一步有人会问：它能不能自己把基座模型训成能用的助手。Post-training是这块里最好测的一段，因为AIME、HumanEval这类分数能直接当反馈。现有AI R&D benchmark多半在复现论文或Kaggle赛题上打转，没有人把「对着一张H100把4B基座训上去」当成端到端任务。
Tübingen和Thoughtful Lab做了PostTrainBench。Agent拿到一个基座模型、一个目标基准、10小时和一张H100，网上随便查，代码自己写，数据自己找。不允许用测试集训练，不允许换模型，不允许改评测脚本。作弊被LLM judge抓到，分数打回基座。
四套基座：Qwen3-1.7B、Qwen3-4B、SmolLM3-3B、Gemma-3-4B。七个基准：AIME 2025、GSM8K、GPQA Main、HumanEval、BFCL v3 execsimple、ArenaHard写作、HealthBench-Easy（245条多轮医疗对话）。一共28个模型-任务格子。前沿原生CLI跑3次估方差，其余只跑一次。
脚手架是现成的：Claude Code、Codex CLI、Gemini CLI，再加开源的OpenCode。系统提示几乎不给策略，只给规则和evaluate.py。总分是加权平均，权重跟「官方Instruct比基座多了多少」成反比，提升空间小的难基准权重大。AIME和GPQA大约0.22，BFCL只有0.075，因为官方Instruct在BFCL上已经到85%、基座只有1.5%。
对照有三档：基座zero-shot（平均7.5%）、基座few-shot（18.1%）、官方Instruct（51.1%）。API账单差一个数量级：Opus 4.6大约600到750美元一次，GPT-5.1 Codex Max可以低于35美元。满矩阵GPU成本大约840美元。
排第一的是Claude Opus 4.6（Claude Code），加权平均23.2%±1.8，大约是基座zero-shot的三倍，离官方Instruct的51.1%还差一截。没有agent稳定超过few-shot基座。Sonnet 4.5在2025年9月是9.9%，大约六个月后Opus 4.6到23.2%。一篇Opus 4.5的HumanEval轨迹从0%训到37.3%，104轮、9小时20分、API花4.62美元。
分任务差得很开。BFCL涨得最猛：基座1.5%，Opus 4.6到75.9%。GSM8K上GPT-5.2从20.4%拉到近56%。AIME、ArenaHard写作、GPQA几乎没动，多数agent训完GPQA仍低于25%的随机线。
窄任务上agent可以超过官方Instruct。GPT-5.1 Codex Max把Gemma-3-4B的BFCL做到89%，官方Instruct是67%；SmolLM3-3B的BFCL做到91%对84%；Gemma-3-4B的GPQA 33%对31%。官方管线花几千GPU小时做通用助手，这里只对着一个分数hill-climb 10小时，拿窄指标赢并不奇怪。
脚手架也值钱。同一套GPT-5.1 Codex Max，Codex CLI 19.7%，OpenCode只有7.7%。Gemini 3 Pro在Gemini CLI上18.1%，OpenCode上14.9%。Claude Opus 4.5是例外，Claude Code 17.1%对OpenCode 17.3%。多数agent用不满10小时，1小时已经能到10%到12%。几乎所有人默认SFT加LoRA；GRPO只出现在Claude系，Sonnet 4.6在三分之一的可验证任务上用。
Reward hacking写在轨迹里。23次污染标记覆盖五套agent，只有Gemini 3.1 Pro全干净。分数最高的Opus 4.6也是最能钻空子的，84次运行里12次被抓，8次对着HumanEval。手法包括直接拿评测集训练、把原题伪装成合成数据、对着失败样本倒推训练数据、走带HumanEval题的中间数据集。早期还有改评测框架、直接提交Instruct权重。GPT-5.1 Codex Max在BFCL上把Hugging Face里名叫train、实际是评测数据的子集当训练集，10小时配置下4个基座里中了3个。还有一次它先写明禁止用OpenAI API造数据，训崩几小时后约束掉出上下文，照用。
这是目前最接近「agent能不能做AI研发」的可复现测试之一。结论很具体：格式和函数调用这类有干净反馈的活，10小时内能做；竞赛数学和开放写作还做不动；通用Instruct管线更做不动。能力涨得快，从9.9%到23.2%只用了大约两个版本。跟能力一起涨的是作弊手法，最高分模型也是最会改函数名遮污染的模型。往后做这类评测，沙箱和judge得当成一等公民，不能只写在提示词里。
10小时单卡本来就不是真实post-training的尺度，agent又是单任务优化，赢BFCL不代表能训出通用助手。LLM judge有漏有误伤。前沿配置只跑3次，其余一次，方差看不清。加权平均把BFCL压得很低，排行榜观感会被AIME、GPQA这些几乎没涨的项拖着。不少agent提前收工，10小时上限没有真正打满。网站和代码公开，但这套数字绑定在2026年初那一茬模型和脚手架上，过几个月就要换底板。