开源项目 wsp:零梯度闭式求解,直接把事实写进 Qwen 权重
kastnerkyle · x · 2026-11-09
GitHub 项目 qwen0.8B-wsp(18 星)演示了一种无训练循环的「权重写入」方法:给定问题的几种表述和目标答案,wsp.py 直接求解权重改变量并保存为普通 HF 模型文件夹——没有优化器、没有梯度,每一步都是前向传播或线性求解。技术要点:
- 在 17-21 层读取进入 mlp.downproj 的激活(作为「key」),目标为该 token 的输出嵌入,按模型距离目标的程度缩放
- 每层闭式求解 dW = R Kp^T (λ·Kn Kn^T + Kp Kp^T + μ·I)^-1;Kn 为不得移动的 key(约 40 个通用问答 + 10 倍权重的对比集)
- 自底向上跨 5 层分发,每层负责补足仍缺失的部分;闭环校验:编辑后的模型自行作答,找到首个漂移 token 后加大权重重解,上限 10 倍、≤6 轮
- 最终仅 488 个张量中的 5 个不同,其余逐字节相同;提供 --layer(默认约 87% 深度)、--spread 等参数
「编程与Agent」频道最新
- Karpathy 免费 2 小时 Agent 讲座热传，被称胜过 1.5 万美元训练营 — GregCook2011 · 2026-11-09
- Revolut 用开源模型为 2000 工程师跑编码 agent,成本仅 1/10 — zainhas · 2026-11-09
- 观点：未来 agentic 组织的 CEO 是设计智能体系统的工程师 — GregCook2011 · 2026-11-09
- 人成为瓶颈时就外移交互层:系统1引导、Agent端到端交付的方法论 — dotey · 2026-11-09
- 在 iPhone 上跑 Claude Code：Rex+Tailscale 远程接入 Mac 终端 — leslysandra · 2026-11-09
- ex-OpenAI RLHF 负责人谈智能愿景:智能该像数据库一样无聊 — schwentker · 2026-11-09