Reddit 网友无梯度改写 Qwen 0.6B 权重：39.8M token 让模型「爱上一支乐队」
Altruistic_Heat_9531 · reddit · 2026-11-04
一位 r/LocalLLaMA 网友用自己开发的 Strata IQ4 Qwen Flash 作为「教师」模型，对 Qwen 3.5 0.6B 做权重级模型编辑（参考 MIT CSAIL 的 weight-space programming 思路），全程无梯度、无 autograd、无优化器。
实验设置
- 硬件：3090 + 老 Xeon E5 + 96G DDR4；0.6B「学生」模型全程在 CPU 上以 FP32 推理（老 Xeon 不支持 BF16）
- 消耗约 39.8M token、耗时 3 小时 12 分完成编辑；Strata 解码速度约 41 tok/s
- 目标：让原本回答「我没有个人偏好」的模型，声称自己最爱 Polyphia 乐队
结果
- 编辑成功后模型稳定输出目标偏好，作者称这种做法可能是「超超参数训练」
- 配图显示编辑只涉及约 36KB、20 个 MLU 神经元：切换这些神经元即可开关该偏好，关掉后模型恢复「从未听说过该乐队」的状态
- 作者指出该设置下传统训练 0.6B 成本远高于合成数据 + 6 分钟 LoRA，质疑大模型（20B+）是否能从此类模型编辑中获益
作者表示这更像消融/合理性验证，代码稍后开源（需先清理个人文件名）。
「模型」频道最新
- 马斯克证实 Grok Bot 成本难以为继，Hermes 一键迁移抢用户 — Teknium · 2026-11-04
- 同一事件转发：五档 ChatGPT 家庭套餐价格再次被扒出 — heyshrutimishra · 2026-11-04
- KOL 参访阶跃星辰上海办公室，暗示新模型即将发布 — teortaxesTex · 2026-11-04
- 爆料:Anthropic Fable 5.5 难产,正赌 OpenAI Astra 6.2 不敌自己 — haider1 · 2026-11-04
- 字节开源 Axion 1.0-35B 智能体基础模型，仅三阶段训练即比肩商用模型 — pmttyji · 2026-11-04
- 网友催更 Kimi K3.1:问月之暗面模型权重何时放出 — bgmshana · 2026-11-04