Reddit 讨论:用对抗式迭代训练让 LLM 自己消除偏见

jcastroarnaud · reddit · 2026-11-18

一位用户在 Reddit 提出缓解 LLM 偏见的设想并征求意见:让一个商用模型 M1 在明确告知其已知偏见清单和缓解文献的前提下,为大语料库做标注并设计训练流程,训出 M2;再让 M1、M2 互相扮演成人类进行多轮对话并记录日志,用这些对抗性数据引导 M2 训练出偏见更少的 M3;如此 Mn 由 M(n-1) 和 M(n-2) 迭代生成,直到新模型与上一代过于相似时停止,最后再交给人类专家做偏见评测。

核心思路是把"模型知道自己的偏见"和"模型间对抗交互"作为训练信号来源,逐步自我纠偏。帖子里附了三篇 arXiv/MDPI 关于 LLM 偏见来源的论文作支撑,作者本人也承认这是个"疯狂的想法",希望社区判断可行性。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →