Project APE:82 种模型配置漏检相关性图谱,verifier 越多样越省钱
soumitrashukla9 · x · 2026-10-15
Project APE 团队指出,verifier(校验器)的多样性价值被严重低估。他们对比了 82 种模型配置(不同模型 + harness 组合)在能力样本上的漏检相关性矩阵。
核心发现:
- 不同模型(尤其跨厂商)漏掉的错误各不相同,相关性矩阵呈现明显块状结构——同家族模型漏检高度相关,跨家族则差异大
- 因此用多个异构模型组成 ensemble 校验效果很好,且非常划算
这一结论对构建 agent 任务的自动评估与代码审查流水线有直接实操意义:与其堆单个 verifier,不如混合多家模型。
「研究」频道最新
- 实验者用 RL 训练布尔逻辑语言模型，单核前向仅数微秒 — cephaloform · 2026-10-23
- AI 揭穿阴谋论研究风波落幕：Science 撤回关注声明，结论不变 — DG_Rand · 2026-10-23
- Embodied First Exam：一行代码在 44 台机器人上考你的 Agent — ManlingLi_ · 2026-10-23
- Anima Anandkumar 演讲：AI 气象模型胜超算，但不会取代科学家 — AnimaAnandkumar · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- 作者用布尔逻辑造 LM:前向传播单线程仅需几微秒但训练极慢 — cephaloform · 2026-10-23