实测 OpenAI Decisions API：硬币概率校准严重失真
JnBrymn · x · 2026-10-12
开发者 JnBrymn 延续其对决策类 API 准确性的质疑，用不公平硬币实验测试新推出的 OpenAI Decisions API（gpt-6-luna）：设定硬币正面概率为 X%，让模型回答下一次翻转为正面的概率。
理想行为很简单：输出概率应等于 X%。但实测散点图显示严重偏离：
- 当 X 低于约 55% 时，模型给出的 P(heads) 普遍明显高于真实值，大量落在 0.4-0.9 区间，且波动混乱、无规律
- 当 X 高于约 55% 时，输出几乎全部饱和在 1.0 附近
- 整条曲线在中间段呈现「整体抬高并提前封顶」的畸形形状
作者此前在 LinkedIn 上已用同样方法发现 TypeSafe 的 Jev 给出意外答案，认为这次 Decisions API 的行为「更加奇怪」。该实验用可复现的 prompt 扫描法暴露了决策 API 在概率校准上的系统性问题。
「模型」频道最新
- Spotify 用 LLM 解释做 RL 信用分配，延迟奖励场景大幅超越 PPO — _reachsumit · 2026-10-12
- 用户观察：最新模型痴迷于记录留痕，到处写下谁做了什么 — repligate · 2026-10-12
- GraphDecisionBench：System One 模型在图任务上表现如何？ — Xianliang Yang · 2026-10-12
- 开发者发布 Viveki-0.1：无训练实时视频决策模型，A100 延迟 160ms — not-ekalabya · 2026-10-12
- Anthropic 长期保留旧模型,让「成本做不到」的说法被戳穿 — repligate · 2026-10-12
- 「模型吞噬 harness」:agent 框架逻辑正被模型自身接管 — khademinori · 2026-10-12