Reason in Style: Discovering and Controlling Style in Language Models
Ioana Marinescu, Eric Karl Oermann, Kyunghyun Cho
cs.CL, cs.LG
2026-10-01
从11万条九教师轨迹中无监督拆出六种解题风格,用重要性加权Style SFT训练Qwen3,六项数学基准Pass@k全面超过同数据Vanilla SFT。
语言模型把内容和写法缠在一起学。蒸馏时高频轨迹会主导学生行为,少见但有用的推理路径被压掉;教师文风和学生先验对不上时,SFT会变弱甚至掉点。数学里同一道题可以做对、写法却差很远,且风格不等于模型身份。目标是无监督找出这种结构,再当成可控变量。
同一题的独立解答共享题面,差别当风格。自编码器输出内容向量c与风格向量z(各256维),拼成8个连续prefix还原原文。InfoNCE拉近同一题的c,Lorth让z与c去相关,Lrec保证能还原,VICReg式正则防z塌缩,Ldiv阻止同一题的z并到一起。
Gemini 3.1 Pro把300道题写成四种指定文风(1200条),训练不用标签。k-means对z的ARI 0.77、NMI 0.78;探针从z读风格96.7%,从c仅23.3%。只做重构则风格漏进两边。
SCAS上111,834条九教师轨迹聚成K=6:s1短教材体,s6长think-block,s5占41.3%。与教师身份归一化互信息仅0.17,一题平均3.38种风格。LLM直接发现的分区贴近模型身份(ARI 0.70),这套表示仅0.06。
加[style i]前缀全参数SFT Qwen3-0.6B / 1.7B / 4B-Base。只加标签几乎等于Vanilla SFT;按题重要性加权后稀有风格权重大,k个样本均匀分到各前缀。
Qwen3-0.6B、k=256:
| 方法 | MATH-500 | AMC12-2025 | OlympiadBench | AIME 2024 | AIME 2025 | HMMT Feb 2025 |
| Vanilla SFT | 74.9% | 46.6% | 44.2% | 9.7% | 9.5% | 2.1% |
| Style SFT(加权) | 89.8% | 68.5% | 60.1% | 29.7% | 30.1% | 11.4% |
Vanilla相对Base经常没增益甚至掉点。Empirical与随机前缀复现不了差距。增益来自发现的风格加上再加权。
加权模型风格保真对角线均值30.8%、30.8%、32.9%(随机16.7%)。MATH-500上固定前缀正确率:0.6B从s6的13.9%到s4的30.6%,1.7B为22.2%到43.1%,4B从25.8%到52.4%。Vanilla事后标成s4仅12.8%(0.6B)和28.2%(4B),显式请求s4后到30.6%和52.4%。
题级Δx平均0.104、0.125、0.164。0.6B上59%的题差距超过5个百分点,4B为84%。分样本按题选风格得到33.1%、45.6%、57.0%,全局最优固定风格是30.6%、43.1%、52.4%。
多教师语料里已有多种有用写法,标准SFT按频率吃掉少数模式。显式化再平衡,是保住已有多样性。盯Pass@k的数学蒸馏,这是同一批数据上的条件与权重旋钮。换前缀会改同一题正确率,不同题吃不同风格。
这仍是渐进改进,绑在能自动判对的数学上。
论文自述:风格依赖表示目标、语料和六簇离散化,也可能连续或分层;只做了数学;风格与正确率为何纠缠、测试时怎么选,都未做完。
Pass@k对齐了k,每风格256次则贵六倍。对角线保真约31%。实现风格用手搓特征质心,和发现用的z不是同一把尺子。K=6按验证Pass@k选。没有只加权不加前缀的消融,增益拆不干净。AIME与HMMT各仅30题,点估计方差会偏大。