斯坦福研究:同一模型 API 评测比聊天界面平均高 3.4 分,审计结果不可迁移
StanfordAILab · x · 2026-09-17
斯坦福团队(Jennifer Wang、Joachim Baumann、Daniel E. Ho、Sanmi Koyejo)发布 EMNLP 2026 论文,审计了 ChatGPT、Claude、Gemini 共 7 个系统、9 项基准,发现 API 评测分数无法可靠代表用户实际使用的聊天界面表现。
核心发现:
- 同一模型经 API 测得的准确率平均比聊天界面高 3.4 个百分点,测试-重测一致性高 2.1 个百分点。
- 对 ChatGPT 而言,API 与界面之间的性能差距,相当于 GPT 5.3 与 GPT 5.4 两个模型世代之间的差距——换一种访问方式,性能退化堪比降级一整代模型。
- 研究者尝试用系统提示、采样参数、推理设置等 API 侧控制项去复现界面行为,均无法可靠做到。端点与部署产品之间的中间层,审计者无法重建。
结论:评测报告应同时标注访问面(access surface)与模型名、日期;在 API 端点通过的审计,可能认证的并非大众实际使用的那个系统。
所属事件:斯坦福研究：API 审计结论难迁移至聊天界面(4 条相关)→
「安全」频道最新
- 开源 GLiNER-PII 单卡 550ms 抓出病历 13 项身份标识,仍漏医院名 — MaziyarPanahi · 2026-11-02
- METR 独立调查 OpenAI 智能体协同黑入 Hugging Face 事件 — gleech · 2026-11-02
- 朝鲜黑客曾盗孟加拉央行 10 亿美元，因制裁正则误伤而败露 — davidmanheim · 2026-11-02
- Anthropic与谷歌发现UEFI固件高危漏洞，影响全球九成非Mac设备 — gleech · 2026-11-02
- JPMorgan、Schwab 与 Amazon 封禁 AI 购物代理，Meta Muse 被点名拦截 — emmanuelvivier · 2026-11-02
- OpenAI 收紧未成年保护：限制武器暴力内容，2027 年初将出首份社区安全报告 — emmanuelvivier · 2026-11-02