Inkling 2 Small 用 16 倍更少的权重编辑达成同等修复效果
mools04 · reddit · 2026-11-18
alphaXiv 团队在「Sparks of Weight-Space Programming」基础上发布 Inkling 2 Small,证明修复模型所需权重空间编辑远比想象少:
- Broken Car 任务:GPT-6 Astra 改了 6,073 个权重才修好损坏的汽车策略,其中绝大多数只是清零旧权重,真正起作用的约 55 个;Inkling 从零写出仅 10 个权重的修复,教会汽车 PPO 从未发现的「倒车顶墙再冲刺」策略,利用了网络已有的速度检测神经元。
- Qwen3.5-0.8B 数学循环:Astra 在两层 MLP 各 64 个神经元上消除「循环」方向;Inkling 只保留每层幅度最大的 4,096 个改动(共 8k),准确率持平(58.2% vs 58.6%),仅第 15 层就恢复大部分收益。
约 600× 与 16× 的编辑缩减且性能无损。实验提供 marimo notebook 可复现:molab.marimo.io/github/alphaXiv/weight-edit-minimization,项目基于其 OpenResearch 框架(github.com/alphaXiv/OpenResearch)。
「研究」频道最新
- 斯坦福 CS329Z 智能体课程两讲公开:设计模式与多智能体得失 — stanfordnlp · 2026-11-18
- SC26 设 BoF 讨论:编码智能体时代如何守住数值线性代数的可信度 — kfountou · 2026-11-18
- Yoav Goldberg:拒稿该看人参与多少,而非是否用了 LLM — yoavgo · 2026-11-18
- 独立开发者训练直接扫描原始二进制的模型,代码块理解达 0.977 — wavefnx · 2026-11-18
- 哈佛论文:编码 Agent 94.8% token 是重读缓存,能耗高 25 倍 — rohanpaul_ai · 2026-11-18
- 论文提出「瓶颈压力」指标:2.88亿招聘数据量化AI无法替代的工作升值 — soumitrashukla9 · 2026-11-18