白盒Self-PPL控检索决策,CWM免分类器免多样本

CWM: Controllable White-Box Meta-Prompting for Adaptive Retrieval-Augmented Generation and Reasoning Ability

Keuntae Kim, Eunhye Jeong, Yong Suk Choi

EMNLP 2026 - findings

cs.AI

2026-09-14

汉阳大学把Self-Discover加上检索原子模块,用查询Self-PPL偏置检索词embedding,三次前向做自适应RAG,免分类器与多样本;GPT-oss在HotpotQA上EM从52升到71。

这篇在解决什么

自适应 RAG 要先判断这条查询要不要检索。常见做法卡在三处:预训练分类器绑死任务和数据;Rowen、SEAKR 一类靠多次采样或中间隐状态估不确定性,推理变贵;评测又几乎只看知识型问答,不管纯推理题被乱检索会不会变差。

黑盒方法看不到模型内部,只能在外面加模块或把同一条输入跑很多遍。CWM 的立场很简单:查询自己的 Self-Perplexity 已经是一个生成前信号,可以在元提示里决定要不要检索。

方法

骨架来自 Self-Discover:模型从一组原子推理模块里选题,拼出这条任务的元提示,再作答。CWM 往模块库里加了一条 Retrieval,专门问「要不要外部知识」。

三步走。

对查询算序列级 Self-PPL,即负对数似然的指数。PPL 高表示模型对输入没把握,倾向于打开检索;PPL 低则压检索。
把 PPL 映射成有符号的控制量 α,三个阈值切出简单、中性、困难。α 只作用在检索关键词那一段 token 的 embedding 上:先做乘法缩放,再沿关键词均值的正交方向加一点扰动,避免被 LayerNorm 吃掉。序列长度不变,也不训练新向量。
元提示生成后,若选中了 Retrieval 模块就带上上下文再答;没选中就直接答。

整条链路三次前向:选题、写元提示、出答案。没有外部分类器,也没有多样本。α 的幅度做成超参,同一套方法可以按模型和任务把检索开关拧紧或拧松。

评测用 GPT-oss-20b、Qwen3-14b、Llama3.1-8b,每个数据集随机 100 条。自适应 RAG 看 HotpotQA、MuSiQue、StrategyQA;推理看 BBH 三个子任务、T4D、MATH500。检索一旦判定需要,所有方法(含 CWM)都拿到同一份 gold context,比的是路由加生成,不是检索器质量。

结果

自适应 RAG 上 CWM 的 Best 设置几乎全表领先 Self-Discover,也经常压过 Adaptive-RAG、Rowen-CL、SEAKR。

模型	数据集	指标	CWM Best	Self-Discover	Adaptive-RAG
GPT-oss-20b	HotpotQA	EM	71	52	69
GPT-oss-20b	StrategyQA	Acc	85	65	81
Qwen3-14b	HotpotQA	EM	78	77	68
Llama3.1-8b	HotpotQA	EM	68	55	61
Llama3.1-8b	MuSiQue	EM	53	37	33

Qwen3-14b 在 HotpotQA 上 78 EM,超过 gold-context 上界 70;Llama 在 MuSiQue 上 53 EM,打平 gold-context。元提示本身在帮生成,不单是路由对了。Qwen3 三套 RAG 数据的检索比例都是 100%,对这个模型 CWM 几乎一直开检索,自适应名不副实。GPT-oss 在 StrategyQA 上只开 54%,更像在挑题。

Rowen-CL、SEAKR 靠多样本,在较容易的 StrategyQA 上检索比例偏低,有时掉到无上下文下界以下。CWM 在「决定不检索」的子集上三套数据、三个模型都最高,例如 GPT-oss 的 HotpotQA 54.3,对 Adaptive-RAG 的 50.7。

推理任务上 CWM 多数时候超过 Self-Discover。GPT-oss 的 BBH 准确率 78.67 对 65.67(直接答 72.33);Llama 的 MATH500 是 64 对 56(直接答只有 21)。GPT-oss 的 MATH500 是少数回退:CWM 96,直接答已经 99,Self-Discover 掉到 87。偏置检索模块会连带改变其他模块的选题,副作用有正有负。

代价几乎与 Self-Discover 持平。HotpotQA 上 GPT-oss 每条平均 121.79 秒、3 次调用;Rowen-CL 是 833.58 秒、39.69 次;SEAKR 753.88 秒。Qwen3 上 CWM 36.23 秒,Self-Discover 37.34 秒。

为什么重要

开源权重、能碰到 embedding 和 token 似然的部署里,这是一条便宜的自适应 RAG:三次前向,不训分类器,不采样。对已经在用 Self-Discover 的人,改动就是多一个检索模块,再按 Self-PPL 拧 embedding。

它不是检索器论文。gold context 设定意味着数字回答的是「何时打开知识」,不是「检索到了什么」。Qwen3 几乎全开检索仍能涨点,说明元提示质量可能比路由更值钱,也说明「自适应」这个卖点要按模型拆开看。

局限与存疑

每个数据集只有 100 条,Best 还是扫超参后的峰值,AVG 会低一截,例如 GPT-oss HotpotQA 的 AVG EM 是 67.83。原子模块库只加了一条 Retrieval,另外 39 条原样搬来,Self-PPL 有没有能力去调别的模块,这篇没做。

白盒做不到 API-only 模型。Self-PPL 会误判:训练截止日期之后的新事实可能 PPL 很低却必须检索,措辞古怪的题可能 PPL 很高却不需要检索。实验里检索用的是 gold context,换成真实检索器,路由错误会被错误文档放大,这篇没有测。

术语

Self-Perplexity:模型对整条查询的序列级困惑度,生成前就能算。
原子推理模块:Self-Discover 里供模型勾选的高层启发式提示,如逐步思考、拆解问题。
元提示:按任务临时拼出来的推理提纲,再拿去生成答案。
自适应 RAG:按查询决定检索或不检索,而不是逢问必搜。
gold context:评测时提供的标准支持文档,用来隔离「要不要检索」和「检索质量」。

原文与代码

社区讨论

CWM:白盒元提示实现低成本自适应 RAG,登上 EMNLP 2026 _reachsumit