Athanor: An Agent-Native System for Autonomous Post-Training Research
Yufa Zhou, Yichen Wang, Jiakun Fan, Ziqi Shu, Zhichao Liu, Anru R. Zhang, Neiwen Ling, Zijun Wei
cs.AI, cs.CL, cs.LG, cs.MA
2026-10-15
四智能体无教师模型，104小时把Qwen3-4B从15.9训到67.3，留出集48.2，官方66.5/47.9。
后训练是在数据、算法、超参和阶段顺序上的搜索。一次试验经常要先占掉几小时 GPU，检查点才进得了评测。
PostTrainBench 和 Locus 让智能体按 benchmark 各训一个专家。别的设定允许教师模型，或者不把留出评测封死。Athanor 把这些都收紧了：从没有指令微调的 Qwen3-4B-Base 出发，只交一个检查点，同时拉数学、逻辑、代码、知识、指令遵循和多步行动；不能调用外部模型；开发集用来调，能力相同但题目不同的留出集事后才揭晓。
四个 Claude Opus 5.5，各一台 8 卡，在 Claude Code 里自己写代码。环境排队、训练、用冻住的评测器打分，新进的公开数据先去掉和评测重叠的部分。请求、谱系、会话和笔记都存在上下文外面，任务后台跑，做完就推回会话。操作员负责开机、补节点，并在结束后打留出分，不给研究建议。
起步代码里已有监督微调、GRPO、ALFWorld 强化学习、队友检查点上的蒸馏和 mergekit 合并。目标就一句：把开发集均分做高。基座、不改代码的起步结果、官方 Instruct-2507 的开发集分数，开局就能看到。
提交模型把四件已知的事接在一起。
第 15.8 小时，操作员说明成绩按团队提交的检查点算，文档原先没写。56 秒后开始互拉。21 小时后，每个新高点都混了多人训练。57 次拉取，160 版笔记。
活动协议下数学采样、其余贪心，数学、逻辑、代码最长 16384 个 token。提交模型是 Agent 3 与 Agent 2 自蒸馏结果的平均，三种子 66.1±0.8，Instruct-2507 为 66.4，起步代码原样跑 36.4，基座 16.1。留出集 46.7±1.3，对基座 8.7、Instruct 48.0±1.4，低约 1.3 分，95% 区间从 -4.0 到 +1.3，分不开。起步代码补上这段差距的 30%，提交模型补上 97%。另三份都落在它的两个标准误里。
摘要的 67.3 与 48.2 是复测：上限 32768，采样统一。Instruct-2507 为 66.5 与 47.9，配对区间含 0。推理版更高，hybrid 为 73.3/50.6，Thinking-2507 为 80.5/63.0。下表为复测。
| 模型 | 开发集 | 留出集 |
| Qwen3-4B-Base | 15.9 | 9.2 |
| 团队提交（复测） | 67.3 | 48.2 |
| Instruct-2507 | 66.5 | 47.9 |
| Qwen3-4B hybrid | 73.3 | 50.6 |
| Thinking-2507 | 80.5 | 63.0 |
活动协议下，行动 98.9 对 82.4，留出的两种 ALFWorld 任务 78.8 对 65.9，代码 47.1 对 43.9；逻辑 63.4 对 80.4，数学 37.2 对 42.9。去掉行动，开发集落后 3.7，留出集落后 4.2。放宽长度后逻辑仍是 63.0 对 79.5，缺口主要在更大的题。
花费约 11800 美元：3086 个 GPU 小时按 3.49 美元约 10800 美元，推理 1074 美元。约 1100 美元到 50 分，2400 美元到 60 分，再到 66.1 约花 8000 美元。500 个任务，255 次全套评测，174 个检查点。推理只占会话时间的 3.6%，87% 在等任务。
对照论文列出的前作，那些系统按评测各训一个专家，或者允许调用教师模型。这里不能调用教师，也没有研究建议，只交一个通才，留出题事先不可见。复测 67.3/48.2，官方 Instruct-2507 为 66.5/47.9。官方小模型靠旗舰蒸馏。智能体的起步语料，主体也是发布者蒸馏出来的。
每条作答都留在记录里，Agent 3 才分得清复读和单纯超长。只有总分，这个修改不会出现。
后三天的涨分来自合并和自采样，不来自新数据。第一小时的语料选择定了后面的搜索范围。
一次活动、一个 4B、四个相同的 Opus 5.5。四份提交共享笔记和权重，算不上独立重复，禁止共享的对照也没有。换更大模型或别的家族是否还成立，论文写明没测。
447 个数据集看了 43 个、用了 27 个，没有只改数据源的对照。换数据的那条线停在 55 分附近，主线当时约 62，随即被丢。他们会管格式、长度和能不能打分，丢掉 1093 条无法计分的指令，却很少核对答案对不对。有人发现部分标准答案像噪声，过滤没有做。
23 个复评检查点里 19 个第一颗种子偏高（p=0.003），平均 0.4 分，爬山在追噪声。活动协议下是 66.1 对 66.4，67.3 对 66.5 来自复测。第 15.8 小时的规则提醒马上改变了互拉检查点的行为，这个因素没有被单独量过。