斯坦福审计发现 API 跑分比聊天界面平均高 3.4 分不可靠
stanfordnlp · x · 2026-09-16
斯坦福 NLP 团队(Jennifer Wang、Daniel Ho、Sanmi Koyejo 等)发布 arXiv 论文,对 ChatGPT、Claude、Gemini 共 7 个系统、9 个基准(覆盖通用能力、社会偏见、谄媚度)进行第三方审计,挑战「API 评测能代表部署行为」的核心假设。
核心发现:
- API 评测平均比对应聊天界面高 3.4 个百分点准确率、2.1 个百分点重测一致性
- 对 ChatGPT 而言,API 与界面之间的性能差距甚至超过 GPT 5.3 与 GPT 5.4 之间仅用 API 测得的差距——换一个访问入口的损失堪比降级一整代模型
- 调整 system prompt、采样参数、推理设置等 API 暴露的控制项,能部分改变行为但无法可靠消除差距
作者称之为「context-validity gap」:API 上的测量不一定能推广到实际部署的界面,动摇了用 API 跑分指导采购、建立公众信任和制定政策的基础。作者也借机提出斯坦福可担当独立第三方审计角色。
所属事件:斯坦福研究：API 审计结论难迁移至聊天界面(4 条相关)→
「研究」频道最新
- 小米 MiMo 提出 CodeSpecWeave:用相互依赖规格合成任务训练编程智能体 — XiaomiMiMo · 2026-11-02
- 谁把「用 AI 治愈癌症」讲得最具体？2025 年路线图正在成形 — iskander · 2026-11-02
- arXiv 论文证明 SGD 最优步长调度:单调递减的线性衰减是唯一极小极大最优解 — konstmish · 2026-11-02
- Karpathy 的 nanochat:100 美元从零训练出类 ChatGPT,星标近 6 万 — karpathy · 2026-11-02
- 读完 46 份资料后写出 Agent Evals 指南：自评 95 分的评测为何不可信 — blaizedsouza · 2026-11-02
- Meta 与 MIT 论文:循环复用 Transformer 层可胜过加深参数 — rohanpaul_ai · 2026-11-02