MIT 团队手动改权重修复小模型,知名研究者泼冷水:是突破还是好 PR?
ziv_ravid · x · 2026-11-04
作者评论 Omar Khattab 领导的 MIT CSAIL「weight-space programming」实验:让 Astra 直接观察并手工更新小模型的权重,不做训练、不用梯度,就让模型在数学、指令跟随上明显变强,甚至让它自己写出游戏 AI 网络,并能仅凭权重判断网络是在哪个游戏上训练的。
作者给出三重态度:
- 兴奋:像给神经网络做基因编辑,直接编辑特定权重是长期梦想。
- 质疑:大部分魔法依赖只适用于小模型的可解释性工具、只能读第一/最后一层、且任务本身已在训练数据里——有多少只是旧概念的好 PR?
- 嫉妒:自己试过同方向,效果差得多。
结论:事情比较复杂。
「研究」频道最新
- Evo2 基因组模型用上下文学习从头设计抗体与 CRISPR 系统 — KevinKaichuang · 2026-11-04
- Evo2 基因组模型用上下文学习从零设计多种功能蛋白 — KevinKaichuang · 2026-11-04
- Google 用混合编码流程分析 16000+ 篇 NLP 论文的局限性陈述 — vinodkpg · 2026-11-04
- Cell 论文仿照希尔伯特问题提出细胞生物学 15 大 AI 挑战 — StephenQuake · 2026-11-04
- Cell 论文效仿希尔伯特提出 15 大细胞生物学 AI 挑战 — StephenQuake · 2026-11-04
- EnterpriseShift 作者指出现有 agent 基准缺岗位定义与运行时权限 — Shahules786 · 2026-11-04