Qwen3-4B 的内部熵能否预测错误
dasjomsyeet · reddit · 2026-07-13
作者测试了 Anthropic Jacobian Lens 相关思路：J-space entropy 是否能作为模型出错的信号。
研究设置：
- 基于 Qwen3-4B
- 约 11,400 个样本
- 覆盖 7 个数据集：TriviaQA、PopQA、NQ-Open、TruthfulQA、HotpotQA、GSM8K、CommonSenseQA
- 仓库提供完整方法、原始数据、指标、图表和 notebook
主要结论：
- 它在部分事实检索任务上，能补充输出置信度，尤其对一些“高置信但可能错”的答案，错误路由精度会更好。
- 它不能稳定识别内化的错误观念：在 TruthfulQA 上，内部表示可能依然很“干净”，但答案是错的。
- 这个信号强烈依赖任务：例如在 TriviaQA 上调好的阈值，迁移到 GSM8K 就失效了；多选格式也会削弱信号。
总体上，作者认为它不是通用的“幻觉检测器”，更像是一个对某些事实型错误有用的补充路由信号。
所属事件:Anthropic揭示Claude内部J-space隐藏推理空间(16 条相关)→
「研究」频道最新
- 南洋理工发布具身智能 Affordance 学习综述，系统梳理近 200 篇研究 — jiqizhixin · 2026-10-18
- Reddit 用户倡议建开源视频剪辑数据集,破解 LoRA 易崩问题 — Emergency-Shake4529 · 2026-10-18
- 新基准瞄准商业 Deep Research:联网检索+内部工具调用缺评测 — burkov · 2026-10-18
- DFB 激光器耦合薄膜铌酸锂芯片：最高 170mW、阈值仅 40-45mA — jwt0625 · 2026-10-18
- 百年难题告破:5 页证明「无 Siegel 零点」,新证明正涌来 — Singularitarian · 2026-10-18
- 用 Opus 数小时设计出约 3.1 万美元开源低场 MRI 头部扫描仪 — DreamFly_13 · 2026-10-18