Gemini 发现的 softmax bug 修复方案被性质测试证伪
brandondamos · x · 2026-10-28
arXiv 新论文(2610.36427)接续此前 Barron et al. 2026 指出的主流 ML 库(PyTorch/JAX)softmax 与交叉熵数值问题:
- 作者用 Hypothesis 做性质测试(property-based testing),成功复现 Gemini 发现的 softmax bug;
- 测试还发现此前提出的修复方案在一个边界用例上仍会失败;
- 论文给出更稳健的 softmax 实现,通过全部测试,并支持 causal attention masking 场景;
- 结论:性质测试是发现并修复 ML 库数值问题的有力工具,代码与测试已开源。
「模型」频道最新
- GPT-6.1 Terra 定价对半砍，「9倍便宜」算账却对不上 — 2C_ornot2C · 2026-10-28
- FrontierCode 2 榜单引骂战：开源模型被指被选择性比较 — teortaxesTex · 2026-10-28
- Evil 27B 太危险?网友想让它做游戏又怕硬盘被清 — teortaxesTex · 2026-10-28
- DeepSeek V5 曝光被辟谣：只是 9 月底的 assert 测试代码 — teortaxesTex · 2026-10-28
- ChatGPT Pro 用量将砍半,Pro 用户吐槽补偿不够 — kimmonismus · 2026-10-28
- paraschopra：abliterated 模型风险大，但大厂护栏同样让科学家受挫 — paraschopra · 2026-10-28