零训练换预训练目标:实体替换误判率从 46% 降到 5%
Reasonable_Royal_621 · reddit · 2026-09-14
作者对语义缓存校验器做红队测试,五类困难样本中四类可通过对抗数据微调修复,唯独「实体替换」(如老布什 vs 小布什)四轮数据修复都无效——去掉或保留那 28 条训练样本,误接受率都是 46.2%,证明问题不在数据。
解法出人意料地简单:换预训练目标。默认校验器是在 MS MARCO 上预训练的 cross-encoder(「这段话和 query 相关吗」),作者换成同等规模、在 NLI 上预训练的 cross-encoder(「句子 A 蕴含还是矛盾句子 B」),零微调直接替换——实体替换误接受率从 46.2% 降到 5.1%,降幅近 90%;否定和数量替换两类零样本成绩甚至超过整套微调管线。
代价与后续:
- NLI 模型开箱即用的整体表现更差,自身短板是方向反转(40.8%);
- 用同样方式微调后两个问题都解决,整体对抗成绩达到项目最佳,实体替换稳定在 26-31%(部分零样本优势被训练磨掉,但仍约为原先的一半)。
核心洞察:「模型学不会」未必意味着需要更多/更好数据,而可能是预训练时从未见过这类关系,微调只能锐化已有能力——选对预训练目标比所有数据技巧加起来都重要。作者也指出局限:换目标同时换了架构和 tokenizer,且只测了一个 NLI 模型。代码与完整报告见 GitHub 仓库 CacheVerifier 与 Paper D 4.3 节。
「研究」频道最新
- 用行列式点过程做技能路由,让 LLM Agent 选技能不再重复 — Wang Wei · 2026-09-14
- 把 LLM 路由建模成上下文老虎机,有限反馈下亚线性遗憾 — Wang Wei · 2026-09-14
- 海德堡桂冠论坛上线每日播客，首期对话两位大奖得主 — thoefler · 2026-09-14
- WebMCP 浏览器工具实测:Books 任务省一半 token,X 任务反而更费 — j032 · 2026-09-14
- AI 推理不止思维链：一帖讲清 7 种推理模式及适用场景 — goyalshaliniuk · 2026-09-14
- 一个 Prompt 搞定机器人复现评测，Nautilus 开源智能体框架引质疑 — GeorgiaChal · 2026-09-14