AWS 架构师独立实测:Snap 1.2 是唯一选项顺序不变模型

ryanallred · x · 2026-11-20

AWS 解决方案架构师 Sagar Dubey 对决策模型 Snap v1.2 做了独立的「顺序不变性」(order invariance)测试:模型答案不应随选项排列顺序变化。评测覆盖 9 个模型、600 道合成决策题、12 个任务族,每题 2-6 个选项。结果是 Snap 1.2 是唯一同时做到零答案变化和零概率漂移的模型:三轮轮换试验(每轮 2400 种排列)和更广的全排列试验(11040 种排列)中均无变化,并在所有测试顺序下保持 99.17% 准确率(600 题对 595)。对照组其他模型在更广试验中有 2.17%-33.83% 的题目答案随顺序改变。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →