微软研究院让 Claude 手写权重:166 参数网络不用反向传播全对
新智元 · wechat · 2026-11-19
微软研究院联合约翰斯·霍普金斯、哥伦比亚和纽约大学提出「可解释权重空间编程」(iWSP):禁止梯度训练,让 Claude Opus 5.5 通过推理直接编写 Python 代码,把算法显式写入 Transformer 权重。
- 流程:Agent 每轮只能看到一个验证分数,据此构思计算逻辑、手写权重、闭环迭代,平均约 39 轮收敛,产出可逐行阅读的「透明」网络。
- 成绩:13 类算法任务、26 次独立运行,隐藏测试集全部 100% 准确,全程无反向传播与梯度下降。
- 反常识发现:模型越强,写出的网络越小——Haiku 5.5 参数中位数约 10 万,Sonnet 5.5 约 4.16 万,Opus 5.5 仅 166 个(先写约 3400 参数跑通后再大幅精简)。
- 科学应用:在语言 fMRI 大脑编码模型中,透明模型暴露了数据集里的混杂漏洞;视觉皮层任务超越现有可解释模型,听觉 ECoG 上发现了可解释声学特征。
- 局限:NLP 任务表现不佳,情感分类参数膨胀到约 19 万也仅 72% 准确率;iWSP 擅长重组已知算法模块,复杂表征涌现仍需海量数据与梯度下降,不能据此认为基座模型训练不再必要。
论文:arxiv.org/abs/2611.18114,代码已开源。
所属事件:微软等提出 iWSP:让 LLM 直接手写神经网络权重(2 条相关)→
「模型」频道最新
- GPT-6.2 Astra 登顶 Blueprint-Bench 2,3D 空间理解首超人类线 — i_dg23 · 2026-11-20
- 「怎么没人聊 Neon?」神秘模型引发圈内热议 — RubenEVillegas · 2026-11-20
- 用 Opus 3 做 agent 安全审查太严格,开发者吐槽其判决偏执 — MikePFrank · 2026-11-20
- 220B 腾讯模型跑进单张 3090:262K 上下文 + 视觉,4 卡 251 tok/s — QuixiAI · 2026-11-20
- 疑似 GPT-6 Astra 曝光:一句话让模型即时重渲 Blender 3D 场景 — ZeroStateReflex · 2026-11-20
- 冷知识:Gemini Ultra 20x 档额度是 5x 的 4 倍,而非 Codex/Claude Code 的 2 倍 — mazzaTalk · 2026-11-20