研究：通过特征引导实现大模型文化对齐

simi_97k · x · 2026-07-12

本研究（COLM 2026）探讨了 LLM 在开放式问题上的文化偏向，发现其默认输出严重偏向美英文化（约 60%）。

研究团队利用稀疏自编码器（SAE）提取特征，发现模型参数中其实蕴含了大量多元文化知识，但被常规训练抑制。通过在推理时使用 CuE 方法进行特征引导，可以透明且低数据成本地改变模型的文化偏向，使其生成特定文化的内容。该方法在文化忠实度上优于显式提示词，并能挖掘出长尾文化概念。不过，该方法目前依赖针对特定模型训练的 SAE，且难以在推理时动态寻找最优引导强度。