Weight-Space 编程测试:开源模型在 Writing Weights 任务上集体失利
eliebakouch · x · 2026-11-03
基于今日「Weight-Space Programming」文章的 Writing Weights Index 测试结果流出:让模型直接「写权重」玩游戏并按超出随机基线的程度打分,开源模型表现挣扎。
榜单要点(Index = 100·q/(1+q),q 为相对 PPO 500M 基线的归一化得分):
- GPT-6 Astra 以 60.7 居首,Gemini 4 Carbon(57.7)、Claude Opus 5.5(51.2)随后。
- 开源阵营差距悬殊:Qwen3.8 24T A9SB 仅 12.5,DeepSeek V4.1 Flash 10.2 仅 10.0,GLM-5.3 为 6.2,Mistral Large 4 低至 2.6。
- MiniMax M3.1 Flash(0.2)、Step 5 Preview(0.1)几乎为零, uniform random 基线为 0。
注:图中模型名为流传榜单所列,帖子未附完整方法细节。
「模型」频道最新
- 实测:新模型编造引用率从 55% 降至近零,GPT-6.1 Sol 达 0% — RexDouglass · 2026-11-03
- 苹果财报电话会暗示:或借第三方 AI 应用开辟新收入 — TechCrunch AI · 2026-11-03
- Google 发布 Gemini 4 Argon,重返前沿模型竞争 — danshipper · 2026-11-03
- 实测拆穿 Astra「0.016% 权重编程」:只是关了 Qwen 思考模式 — teortaxesTex · 2026-11-03
- 网传 astra6.2 灰度测试:20 分钟做出 3DS 风马里奥赛车 — lxfater · 2026-11-03
- 有用户感叹:Sonnet 5.5 好像不如以前聪明了 — nlarusstone · 2026-11-03