1.3微秒CPU检测幻觉：120B大模型反而集体自信胡编
More_Slide5739 · reddit · 2026-10-02
本地跑 Ollama 的开发者常用 Oxford 语义熵方案检测幻觉，但需要跑 NLI 交叉编码器做两两比较，吃显存又加延迟。作者做了一个零依赖的 Python 指标 Spanda（Rsc）：纯 CPU 上对 5 次采样（T=0.7）做字符串归一化 + 精确匹配香农熵，仅需 1.3 微秒、零 GPU 开销，并在 GSM8K/TriviaQA 上横测 1.5B 到 120B 模型：
- 1.5B（Qwen）AUROC≈0.58：小模型输出格式太乱，即使答对也无法稳定聚类；
- 7B（Mistral）AUROC≈0.71：与重型 DeBERTa NLI 判别器（0.705 vs 0.706）打平；
- 27B（Qwen）AUROC≈0.89：模型知道答案时跨采样路径输出完全相同的 token，不知道时则分叉成多样的错误答案；
- 120B 反而崩到 AUROC 0.09：出现「自信模式坍缩」——幻觉时 5 次运行输出完全相同的错误答案、熵为零，连重型 NLI 也检测不到。
实用结论：7B–27B 模型跑结构化任务（数学/代码/JSON/SQL/离散 QA）时，用 5 次采样 + 精确匹配熵即可获得约 0.89 AUROC，无需重型神经护栏。评测脚本、日志与完整报告均开源（GitHub: Spnda）。
「Infra」频道最新
- 传三星 HBM4 报价超 4 美元/Gb,达 HBM3E 三倍以上 — zephyr_z9 · 2026-10-02
- 开发者自研 Bobcat 推理引擎,主打 Apple Silicon 本地极速跑模型 — Available_Pressure47 · 2026-10-02
- 东芝斥资 600 亿日元扩产菲律宾工厂,AI 用 HDD 产能将翻倍 — zephyr_z9 · 2026-10-02
- USC 提出 HeteroFold:跨模型家族 KV 缓存免预填充传输,32K 上下文快 10.7 倍 — UniversityofSouthernCalifornia · 2026-10-02
- 扎克伯格:多吉瓦级训练集群暴力堆算力即可逼近 AGI — rohanpaul_ai · 2026-10-02
- 开源 CodexBar 上架菜单栏:22k 星,一屏看尽各家 AI 额度 — lxfater · 2026-10-02