PostTrainBench 智能体轨迹数据集月下载量突破 3.5 万次
maksym_andr · x · 2026-09-06
PostTrainBench 的智能体轨迹数据集上月下载超 3.5 万次,作者戏问这些是真人还是失控的 AI agent。该数据集来自 ELLIS Institute Tübingen 与 MPI-IS 的 AI Safety and Alignment Group,测量 CLI agent 自主后训练基础模型的能力。
任务设定:每个 agent 拿到一个预训练基础模型、针对特定 benchmark 的评测脚本,以及在单张 NVIDIA H100 80GB 上 10 小时时间,需自主选择 SFT、LoRA、RLHF、数据生成提示工程等后训练策略提升模型表现。涉及基础模型包括 Qwen3-1.7B/4B-Base、SmolLM3-3B、Gemma-3-4B-PT;评测覆盖 AIME 2025、ArenaHardWriting、BFCL、GPQA、GSM8K、HumanEval、HealthBench。每条运行包含脱敏的完整 agent 轨迹、评测结果与数据污染判定。
「研究」频道最新
- Terence Tao 发帖引围观:机制可解释性或派上大用场 — Sauers_ · 2026-09-06
- GPT-6 Astra 登顶手术 AI 通才榜，仍输给小千倍专用小模型 — ddonoho · 2026-09-06
- GPU 编程日更 244 天:作者深挖内存硬件与流水线并行 — blaizedsouza · 2026-09-06
- 哈佛论文称 LLM 满足病毒定义：借人类认知传播的「认知病毒」 — rjurney · 2026-09-06
- OfirPress 十年语言建模：首篇论文曾被批「语言建模不现实」 — OfirPress · 2026-09-06
- 训练扩散模型别只看总损失，逐时间步损失曲线更关键 — jfischoff · 2026-09-06