研究:后训练让模型无视方言,DPO 偏好英式拼写胜过 AAE 和新加坡英语
Zhizhuo Kou · hf · 2026-10-22
港科大团队研究聊天模型为何倾向用标准英语回复、无视用户使用的方言变体。
- 追踪 SFT、DPO、RL 各后训练阶段如何改变模型「迎合用户语言习惯」的倾向:后训练把对所有非正式信号的回复都标准化了
- 关键发现:校正每条回复本身的先验概率后,DPO 更新在 10 个开源模型谱系上仍系统性偏向匹配英式/澳式拼写,而冷落 AAE(非裔美国人英语)和新加坡英语;被问到时模型仍能产出 AAE 特征
- 提出 CAP(校准迎合对)偏好数据:奖励匹配用户方言密度、同时对标准英语用户保持标准英语。在完全开源的模型上,CAP 在未训练过的特征上也提升了趋同度,且没有让标准英语用户的方言味变重、不损害指令遵循
- 单向偏好对要达到类似效果只能过火地把方言强加给用户
- 结论:统一的回复可能掩盖有选择性的更新,审计应同时读「输出」和「更新」
「研究」频道最新
- 多伦多大学启动文化适配 AI 项目，服务孟加拉国心理健康 — ishtiaqueSIA · 2026-10-22
- 计算模拟支持考古发现:空间瓶颈阻碍文化传播 — abenitezburraco · 2026-10-22
- AI 心电图标志物检测猝死风险，伯克利获年度学术发现奖 — oziadias · 2026-10-22
- TraceForge:零闭源 token 合成思维链,超越 Claude 原生 trace — IndependentResearcher121 · 2026-10-22
- 上交大 SpatialBrain:不改视觉骨干,用经验记忆提升空间推理 — SJTU · 2026-10-22
- 米哈游等用游戏世界做具身智能续训 scaling 实验:120 组配置揭示边界 — THUSI-Lab · 2026-10-22