防止复合 AI 系统组件“角色漂移”的 Role Anchor 技术

bendee983 · x · 2026-08-18

在复合 AI 流水线（如 RAG）的端到端强化学习中，常出现“角色漂移”现象，即组件为达成总目标而忽略自身指令（例如 Reader 组件不使用检索文档而改用内部知识）。MIT 与哈佛研究人员提出“Role Anchor”技术，通过计算角色提示词带来的输出分布变化得出“角色效用”向量，并在训练中监控组件对角色的遵循度，对偏离行为施加惩罚。