spaCy 作者拆解 LLM 改权重研究:不是心理模拟而是检测循环再干预
honnibal · x · 2026-11-03
honnibal(spaCy/Explosion 创始人)详细澄清了「LLM 可原生读写神经网络权重」这篇论文的真实做法:
- 第一部分并非"心理模拟":初读摘要会以为模型读完 Qwen 权重后在脑内推演网络行为来诊断问题,实际上是直接运行网络、发现输出在循环,然后设计一次对权重的干预来修复。过程中它可以查看激活值、调整权重、重新运行验证。作者指出,这类干预用反向传播其实完全可行,但论文刻意强调"不用反向传播"。
- 游戏实验:Astra 被要求编写能玩游戏的权重,做法是先设计一个规则式 AI,再把规则编码进权重。
- 总体观察:现在的论文摘要读起来越来越像舞台魔术——你以为每次用的是同一套方法,实际每轮都有花招:这次用道具、下次证明道具不是花招但偷藏了东西、第三次是被迫选择。读者必须拆开看每篇论文具体做了什么。
这条线程对理解该研究的真实边界很有价值,防止被摘要包装误导。
所属事件:spaCy 创始人撰文拆解 LLM 读写权重研究(2 条相关)→
「研究」频道最新
- 耶路撒冷希伯来大学 EEG 研究:自闭症改变反馈评估而非原始感知 — MacrinePhD · 2026-11-03
- de Chaisemartin 团队推出免费 DiD 估计量选择指南 — avicgoldfarb · 2026-11-03
- 英国 AI for Science 生态地图发布,机构数量十年持续增长 — ersatzben · 2026-11-03
- 人脑iEEG研究实证预测路由模型:感知切换伴随脑状态重路由 — neuroprinciples · 2026-11-03
- 蚂蚁发布 SWE-Trail:用历史轨迹引导 coding agent 训练数据收集 — antgroup · 2026-11-03
- BedBench:人类 93% 对最强模型 7%,VLM 3D 数数硬伤曝光 — StanfordUniversity · 2026-11-03