用 logit lens 透视 Beat Saber 微调模型：音符生成复用语言语法回路
ctjlewis · x · 2026-10-16
kalomaze 分享了一个展示迁移学习后果的有趣实验：朋友用新 token 头微调出一个 Beat Saber 自动谱面生成模型后，他把 logit lens 对准原始词表观察内部激活，发现模型大量复用了语言模型的既有机制——
- 谱面弧线(arc)开始时，残差流指向开括号 token((、$(' 等)
- 墙(wall)起始 token 激活的是指人的名词机制(人、woman、guy)
- 节拍将结束处对应系动词(is、是、ist)
- 未映射段落(前奏、间奏、静音)激活条件词(if、如果)
- 尾奏/真静音激活反身代词(themselves、自己)
这佐证了引用帖的观点：所谓「数据墙」远非真正的瓶颈，迁移学习让模型在全新模态上也能复用语言预训练学到的结构。
「Fun」频道最新
- ML 研究员 Burkov 玩梗:防 AI 垃圾投稿的终极方案是寄平信 — francoisfleuret · 2026-10-16
- 「AI 连替你闻花香都会做得更好，甚至花也是它」走红 — littmath · 2026-10-16
- AI 生成巨石强森上身巨岩、细腿端茶的离谱画面 — OVolosin82152 · 2026-10-16
- 马斯克转发 Grok Imagine 生成舞蹈视频：高难度动作表现优雅 — elonmusk · 2026-10-16
- 开发者晒 57 岁中国父亲开始使用 Muse — KlausCodes · 2026-10-16
- UCL 给边沁蜡像配满意度打分屏,网友:他会乐意的 — gleech · 2026-10-16