随机算法跑 1450 万次测试仍可能漏掉 bug,精确追踪枚举一举证伪
xtimv · x · 2026-11-02
Tim Vieira 撰文讨论如何测试随机算法(以 SMC 语言模型受限生成中的采样模块 AWRS 为例):
- 随机算法每次输出不同,传统 Monte Carlo 测试(大量运行后检查输出分布)可能失效:配图指出一个带偏差的 bug 在 1450 万次采样后,其偏差仍与采样噪声同量级,「所有测试都通过」
- 文章用同一个采样算法的多个实现(有的正确、有的 subtly broken)逐级展示更强的测试策略,每一级都能抓住上一级漏掉的 bug
- 终极技巧:精确程序追踪——枚举每一条可能的执行路径并精确检查正确性,无需采样即可「证明」算法错误,bug 立现
- 最后还将该模块接入完整 SMC 管线做端到端测试
对做概率推理、采样算法和 LLM 受限生成的工程与研究者都有实用价值。
「研究」频道最新
- Fortnow 撰文回顾 3SUM/APSP/ETH 猜想在复杂性理论中的角色 — fortnow · 2026-11-02
- LLM 可控性成生物设计利器，通用模型胜过专用模型？ — chaitjo · 2026-11-02
- Epoch AI 图表产出年增 1.6 倍，11 月却归零被调侃"撞墙" — SamuelAlbanie · 2026-11-02
- William Hoza 解读 BPL=L:复杂性理论重大结果 — thomasahle · 2026-11-02
- YC Paper Club 办 AI for Biology 专场，邀癌症治疗团队分享 — ycombinator · 2026-11-02
- Turing Post 精选 10 份 Agent Harness 学习资源合集 — TheTuringPost · 2026-11-02