1.5ms 检出幻觉:开源 Spanda 比 Semantic Entropy 快 9 万倍
Otherwise_Nobody_721 · reddit · 2026-09-05
- 开源项目 Spanda(MIT 协议,pip install spanda)是一个零依赖、纯 Python 的幻觉检测器,替代生产环境中常用的 Semantic Entropy(Farquhar et al., Nature 2024)。
- 原方案的痛点:Semantic Entropy 依赖 DeBERTa 聚类,单次查询约 136 秒还占 GPU 显存;Spanda 采样 K 个输出计算归一化词法一致率,约 1.5ms 跑在 CPU 上,零额外 API/显存成本,快约 9 万倍。
- 精度:在 7B–27B 模型的 GSM8K 数学推理任务上达到 0.889 AUROC,与重型 NLI 聚类持平。
- 重要发现「Confident Mode Collapse」:对重度对齐的前沿模型(120B+),即使 temperature=0.7,模型有时会在所有 seed 上复现同一个幻觉答案——幻觉达成 100% 一致时,一切自一致性方法都会失效,需要警惕。
- 作者征集生产管线中实时不确定性打分的实践经验。
「研究」频道最新
- 上述扩散语言模型偏见研究上线可交互 demo,可扫全部采样组合 — Bollegala · 2026-10-23
- Kaggle 联手谷歌量子推出电路编译竞赛，奖金 15 万美元 — JFPuget · 2026-10-23
- 扩散语言模型的偏见排名随采样配置改变,去偏后仍不稳定 — Bollegala · 2026-10-23
- Google 量子 AI 上线可验证量子线路编译 Kaggle 赛题 — JFPuget · 2026-10-23
- 聚合各实验室 tokenizer 发现约 994 个跨代稳定的通用 token — kalomaze · 2026-10-23
- 研究者让 Grok 自己写提示词，追查 X 上 LLM 驱动的阿联酋水军网络 — FlorianGallwitz · 2026-10-23