研究者 SFT Qwen3.5-4B 读改自身权重，logit lens 准确率 99.8%

lateinteraction · x · 2026-11-14

Atharva R. Naik 发布系列博客首篇，提出「auto-weight space programming」：通过 SFT 训练 Qwen3.5-4B 等小模型，把自身权重以数字形式放进 prompt，让模型在权重空间上执行 logit lens——读：给定某神经元输出权重，判断它把输出推向哪些词、远离哪些词；写：按要求生成权重数字，使输出偏向/远离指定词。官方示意图中模型读权重后正确答出偏向 she/her/hers、远离 his/him，该任务报告准确率达 99.8%。系列首篇将于周五发布，方向不同于常见对小型模型训练的研究。