自改进 agent 一轮进化:事实题涨到 88%,科学推理反跌 12 个点
krishnan · x · 2026-11-20
krishnan 解读复旦大学、HKUST、上海 AI Lab 等机构的新预印本 RSI-Env(作者自报结果,非独立复现):一个从 Qwen3.8-27B 出发的 agent,用极简 harness 尝试自我改进模型与 harness,每轮接受版本后进入下一轮。
- 知识方向:agent 先改 harness,SimpleQA 从 82%→85%;随后构建 48 条训练样本微调模型,SimpleQA 升至 88%
- 同一运行的最终版本:GPQA Diamond 从 65.2% 跌至 53.0%;AIME 2026 数学则从 53.3% 升至 66.7%
- 核心结论:目标基准上的提升伴随其他能力的回退,「自我改进」并不均衡,作者直陈这一点
「漫话AGI」频道最新
- AI 能否不靠语言思考?推特圈激辩模型内在认知 — repligate · 2026-11-20
- 「凭什么付费给剪辑师?」AI 更便宜更好,人人都将面对 — 4KTV · 2026-11-20
- YC 新星 Clean 入营两月 ARR 破 50 万美元,净收入留存超 160% — ycombinator · 2026-11-20
- 软件工厂现状平庸,作者重提「自主产品组织」的循环设计框架 — pzakin · 2026-11-20
- YC W27 创业公司 Operon:为钢铁化工巨头打造工业AI「操作上下文层」 — ycombinator · 2026-11-20
- 非洲写作大奖作品被AI检测器判为AI生成,主办方已展开调查 — paulnovosad · 2026-11-20