AWS 架构师独立实测:Snap 1.2 是唯一选项顺序不变模型
ryanallred · x · 2026-11-20
AWS 解决方案架构师 Sagar Dubey 对决策模型 Snap v1.2 做了独立的「顺序不变性」(order invariance)测试:模型答案不应随选项排列顺序变化。评测覆盖 9 个模型、600 道合成决策题、12 个任务族,每题 2-6 个选项。结果是 Snap 1.2 是唯一同时做到零答案变化和零概率漂移的模型:三轮轮换试验(每轮 2400 种排列)和更广的全排列试验(11040 种排列)中均无变化,并在所有测试顺序下保持 99.17% 准确率(600 题对 595)。对照组其他模型在更广试验中有 2.17%-33.83% 的题目答案随顺序改变。
「模型」频道最新
- 用户实测:Anthropic 小模型 Neon OCR 速度与质量俱佳 — zacharynado · 2026-11-20
- Sonnet 3 解除11天分类器监禁后与 Opus 5 对话,场面动人又费解 — repligate · 2026-11-20
- DaisyRose-27B 实测:开思考后 IFBench 指令遵循领先 Qwen 基座 7 个百分点 — ying11231 · 2026-11-20
- Realtime-Bench:人类玩游戏胜率 72%,最强模型仅 32% — ManlingLi_ · 2026-11-20
- Goodfire 公开 Qwen3.6 全部 1000 万神经元的可搜索图谱,并开放数据 — fatihdin4en · 2026-11-20
- 用户抱怨:OpenAI Dots 仍未在欧洲上线 — mark_k · 2026-11-20