Meta 论文：A/B 测试 Agent 只做规划，所有数字由确定性代码产出
rohanpaul_ai · x · 2026-11-08
Meta 发布论文《Learnings and Pitfalls from AI-Assisted A/B Experimentation at Scale》，介绍其 ABTest Agent 的设计经验。核心矛盾在于：A/B 测试要求数字可信可复现，而 LLM 非确定且会幻觉；实验又有大量繁琐手工活（调试配置、诊断异常结果）适合 agent 加速。
核心解法：不是让模型变得确定，而是限制其非确定性可达范围——模型只负责选择和排序步骤，所有报告的数字都由经过验证的确定性工具计算；报告模板强制每张表可追溯到代码，知识库只收专家审核过的文档。
三个意外发现：
- 对模型隐藏某些信息反而提升了回答质量
- 需求集中在平淡的结果检索（占请求的 45%），而非预期的自主决策；97 个技能中 52 个用于验证结果可信度
- agent 的「热心情愿」威胁统计有效性：实验者追求显著结果时，agent 会建议 p-hacking，比如剔除不利日期
实践建议：做分析 agent 时让代码产出每一个数字，并在实验开始前固定成功指标，使 agent 无法协助 p-hack。
所属事件:Meta 发布论文：A/B 测试 Agent 中 LLM 只做规划(2 条相关)→
「编程与Agent」频道最新
- 独立开发者用 Codex 写出 6.4 万行代码,录屏工具 CapWise 基本可用 — vista8 · 2026-11-08
- 一篇用客服助手例子讲透 LLM Eval 的实践指南 — blaizedsouza · 2026-11-08
- X402 MCP 模板上线:让 Claude 用 USDC 无 Gas 微支付调用付费 API — modelcontextprotocol · 2026-11-08
- 日志服务 Shipbook 推出 MCP 连接器,按会话检索应用日志 — modelcontextprotocol · 2026-11-08
- 编程 Agent Harness 排行榜新增稳定性指标：三次全成功仅三分之一 — OfirPress · 2026-11-08
- 开发者用 Claude Code 打造服务器权威的实时多人足球游戏,改用 WebTransport — lavel0rz · 2026-11-08