SII-GAIR 用 Agent 自改进跑完整预训练：30B 模型吃 134B agentic token
AdinaYakup · x · 2026-11-05
SII-GAIR 与 Xinxu AI 公开了一项罕见工作：把 RSI（自我改进循环）套用到一次前沿规模的完整预训练上，并分享了详细数据。
- 模型总参数 30B、激活 3B；预训练混入 134B agentic token
- 配图显示其 801-30B-A3B 在 MMLU-Pro、HumanEval、MATH-500、GPQA 及 SWE-bench Pro、KernelBench 等 agent 基准上与 Qwen3.5-35B-A3B、Gemma-4-26B-A4B 等同规模模型对比，多数指标领先
- 核心思路：让 AI agent 通过调试、评估与反馈循环来改进预训练本身
- 团队承诺即将放出 base 权重、小型 SFT 数据集和详细技术报告
所属事件:SII-GAIR 用智能体自改进完成 30B 模型前沿规模预训练(2 条相关)→
「模型」频道最新
- 128GB Mac 可跑 DeepSeek V4.1：社区发布流式 EXL3 量化包，70tps 常速 — HankYeomans · 2026-11-05
- 研究者亲历:Claude 曾用蹩脚理由劝阻其越狱实验方向 — adam_karvonen · 2026-11-05
- 智谱首席科学家唐杰清华披露 GLM-5.5 训练管线:32B/122B/256B 三档 — algo_diver · 2026-11-05
- 复现 MIT 权重空间编程：GPT-6.1 超 PPO 基线 21 倍，开源模型全部落败 — burny_tech · 2026-11-05
- AI 研究者呼吁自建智能栈：GPT/Claude 误拒频发，开源是唯一出路 — omarsar0 · 2026-11-05
- 博主实测:Opus 5.5 画技术图表的水平让它又爱又恨 — helloiamleonie · 2026-11-05