RSI Arena 论文：agent 自主后训练 6 天，最强模型闭合 76% 差距
my_cat_can_code · x · 2026-11-06
RSI Arena 论文（arXiv:2610.33624，Yue Huang、Thomas Wolf、Alex Pentland 等 18 位作者）已发布，配套放出项目主页、每日报告、训练直播与模型 checkpoint。
- 两阶段自主后训练研究：10 个前沿模型 agent 各从 NVIDIA Nemotron 3.5 Lightning 30B-A3B Base 出发，第一阶段 6 天内各自拥有 1,000 GPU 小时和 $300 API 额度，独立选数据、实现训练、选 checkpoint。
- 最强模型（GPT-6 Astra 训练）在 12 个能力 benchmark 上中位数闭合基座到 Instruct 差距的 76%，风格调整后人类偏好接近 NVIDIA Instruct。
- 第二阶段基于人类对比记录再训练 3 天，10 个模型中 8 个评分提升；benchmark 提升与偏好提升无明显关联，部分 agent 鼓励更长回答，一个模型在 StrongREJECT 上有害顺从度上升。
所属事件:RSI Arena 实验：10 个 AI agent 自主训练模型见成效(2 条相关)→
「研究」频道最新
- 港科大广州等发布 SLA：持续预训练扩展空间-语言-动作模型 — HKUSTGZ · 2026-11-06
- 上交大等提出 Harness-S：用兄弟 Harness 拯救失败 rollout 训练通用智能体 — SJUT1 · 2026-11-06
- 蚂蚁 VisSearch-Bench：最强多模态智能体仅完全解决 26.47% 视觉搜索任务 — antgroup · 2026-11-06
- 研究：相同数据训练的模型栽在不同越狱上，预训练随机种子才是关键 — cerulean-works · 2026-11-06
- KAIST DreamFree：蒸馏视频扩散表征，免生成未来帧实现实时机器人控制 — kaist-ai · 2026-11-06
- 新专著系统梳理法律、医疗、学术、专利四大领域的领域特定信息检索 — _reachsumit · 2026-11-06