定位并切除 LLM"AI 味":SFT 引入套路,DPO 使其翻倍,向量消融可减 83%
Imaginary_Money2285 · reddit · 2026-10-15
Reddit 上一项可复现研究,追问 LLM 的"AI 腔"(破折号、"不是 X 而是 Y"、三连排比、套话)住在模型哪里、由哪个训练阶段装进去、能否切除。
住在哪:在 Qwen3-4B-Instruct 上,用模型自身"夸张 vs 朴素"文本的差值均值方向,能分开 64 对手写最小对,与基于套话的 slop 分数相关性最高达 0.82。Logit-lens 显示存在一条"语域轴"(宏大抽象词汇 vs "really/basically"等朴素词),各套话方向还跨语言——"not X, but Y" 会提升中文"而是"的概率。
从哪来:基座模型同一方向(中层余弦 0.90–0.97)但输出偏朴素端;在 OLMo 2 1B 各训练阶段测量,SFT 引入修辞结构,DPO 让 slop 分数翻倍(套话与 markdown 格式);OLMo 偏好数据 3000 对中 57% 被选中的回答更 slop。
怎么切:方向消融反而会增 slop(干净文本在该轴上投影为负),改用第 12–23 层的固定向量减法,在约 0.4 nats/token 的 KL 预算内有效;蒸馏成 rank-16 LoRA 后无系统提示即可降 83% slop 分数,KL 低于直接 steering,小型 QA 无退化。
局限:slop 评分器是自写正则,主结果仅 4B 模型 + OLMo 2 1B,尚无人评。与 Paech 等的 Antislop(词元层面)互补,此工作在表征层面。
「研究」频道最新
- AI 揭穿阴谋论研究风波落幕：Science 撤回关注声明，结论不变 — DG_Rand · 2026-10-23
- Embodied First Exam：一行代码在 44 台机器人上考你的 Agent — ManlingLi_ · 2026-10-23
- Anima Anandkumar 演讲：AI 气象模型胜超算，但不会取代科学家 — AnimaAnandkumar · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- 作者用布尔逻辑造 LM:前向传播单线程仅需几微秒但训练极慢 — cephaloform · 2026-10-23
- AdaDex:几秒人手视频即可教灵巧手学会抓取、抛接等可泛化技能 — mangahomanga · 2026-10-23