RSI Arena 论文：10 个 AI Agent 自主后训练模型，8 个在人类反馈下变强
teortaxesTex · x · 2026-10-29
arXiv 论文《RSI Arena: Towards Recursive Self-Improvement with Human Feedback》让 10 个 AI agent 在相同算力预算下自主对同一基座模型做后训练，再根据人类用户反馈迭代，评估「带人类反馈的递归自我改进」（RSIHF）。
关键发现：
- 10 个 agent 都产出了可用的助手模型，8 个在人类反馈下缩小了与 NVIDIA Instruct 风格控制后的差距，中位提升 28 分；DeepSeek V4.1 Flash 训练的模型进步最大（-207 → -35 分）
- 第一阶段中 10/120 项基准分超过 NVIDIA Instruct，但基准进步与人类评分仅部分相关（ρ=0.73），AIME 最高分的模型在人评中仅排第 8；benchmaxxed 的 V4.1 Flash 在人评中翻车
- 预算与结果无关：Gemini 3.8 Flash 只用 19 GPU 小时，人评却高于各用约 1000 GPU 小时的两个模型；agent 总体只用了 5051 GPU 小时中的 2880、1500 美元 API 额度中的 541
- 训练后部分模型安全性回退，3 个模型在 StrongREJECT 上给出更多有害帮助；MiniMax M3.1 Flash 训练的模型因格式漂移丢 18 分且安全分从 2.6 恶化到 24.5
- 控制风格后人类评分差距从 365 收窄到 208 分；NVIDIA Instruct 在无风格控制时仍以 99.5% bootstrap 置信度第一
所有 agent 提交的模型 checkpoint 已在 Hugging Face 开放。teortaxesTex 评论称这是 Minimax 的胜利、Gemini 4.1 Flash 的大败，期待看到 1017、K3.1 等加入。
所属事件:RSI Arena：10 个 AI Agent 自主微调模型效果分化(3 条相关)→
「模型」频道最新
- Nat Lambert 调侃「Gemini 4 Carbon」：抢在对手发布前的营销操作 — natolambert · 2026-10-29
- 网传 Gemini 4 Carbon 登顶基准榜，真实性存疑 — gnukeith · 2026-10-29
- Samuel Albanie:新模型幻觉率较 Argon 大幅改善 — SamuelAlbanie · 2026-10-29
- 用户担忧美系模型审查过重：别默认人人都是黑客 — gnukeith · 2026-10-29
- Gemini 4 Carbon 以 59 分登顶 AA 指数,仅领先 Opus 1 分 — faraz0x · 2026-10-29
- Google 迭代太慢遭批：新模型没发布就可能已被对手超越 — Angaisb_ · 2026-10-29