新论文:用元认知可靠性奖励教会 LLM 只在必要时才检索
_reachsumit · x · 2026-11-02
arXiv 论文提出「元认知可靠性监督」框架，训练 LLM agent 判断何时该检索、何时可靠到可以直接继续推理。
- 问题：基于最终答案正确性或轨迹级反馈的监督只能间接反映当前决策状态的可靠性，因为轨迹表现受随机生成、检索质量与下游推理共同影响
- 方法：估计局部结论的可靠性，分解为两个分数——「当前状态可靠性」评估不检索能否继续；「检索动作分」衡量检索到的证据对可靠性的提升
- 两个分数构成可靠性感知的过程奖励，接入 GRPO 类强化学习训练，让模型在需要外部信息时才检索、且偏向真正有贡献的检索
「编程与Agent」频道最新
- 开源看板 Kanzo 更新:多机共享看板,4 MB 二进制仅耗 4.5 MB 内存 — allmudi · 2026-11-02
- Plunge 开放首批 25 人试用:AI Agent 把普通游戏自动改造成 VR 版 — Every-Sprinkles-9716 · 2026-11-02
- Karpathy 的 7 个 SOTA 开源仓库:从 micrograd 到 nanochat 的 LLM 修炼路径 — huangyun_122 · 2026-11-02
- 把长提示词封装成斜杠命令:一手教程教你下载并自建 25 个 Claude Skills — rubenhassid · 2026-11-02
- InDesign 崩溃丢文件,用户用 Coast agent 回放屏幕录像找回设计 — aidangch · 2026-11-02
- Games4Free 上线:2465 条游戏目录开放只读 MCP 供 AI 检索 — biggdogg420 · 2026-11-02