PACT 框架:LLM 执行文化规范受国别影响 7.8%,远超年龄性别
radamihalcea · x · 2026-11-02
Rada Mihalcea 团队在 EMNLP 2026(布达佩斯)主会口头报告论文《Whose Norms? Disentangling Cultural and Personal Alignment in Large Language Models》。
- 提出 PACT(Personal-Preference and Cultural-Norm Trade-off)框架,评估 LLM 在社会决策场景中是遵循文化规范还是尊重个人偏好。
- 关键发现:模型行为受国家语境影响达 7.8%,远高于年龄(1%)和性别(0.7%),且 instruction tuning 后偏移不均匀。
- 五国人类实验显示:人类的文化从众主要由场景所在国驱动,判断自己文化语境时一致性最低,说明文化内部存在多元性。
- 人机对齐实验:模型能匹配多数派选择,但无法捕捉回答分布与不确定性,最佳相关系数仅 0.24。
结论:对齐评估应超越「多数派」,去刻画社会判断中的文化多元与分歧。
「漫话AGI」频道最新
- DeepSeek 研究员:不犯错才是被低估的 AI 护城河 — Yuchenj_UW · 2026-11-02
- 数学家:LLM 的价值在超长复杂证明,而非灵感论文 — littmath · 2026-11-02
- MFord 与 Domingos 正面辩论:AI 到底会不会夺走大多数工作 — MFordFuture · 2026-11-02
- Ethan Mollick:即便只有 GPT-4 也会带来巨大冲击,只是组织吸收更慢 — emollick · 2026-11-02
- Hamel Husain:AI 基准公司与评级机构是同一门生意 — HamelHusain · 2026-11-02
- Karpathy 定义 slop 为"被后悔的注意力",网友提议用自分类样本训练 AI 过滤器 — kellerjordan0 · 2026-11-02