用小模型 logit 提取置信度：开源复现 Jev 式分类器尝试
OneFanFare · reddit · 2026-09-22
受近期 Jev 讨论启发，开发者用本地跑的 Gemma 小模型（Gemma4 e2b）做了个开源 Python 工具，尝试用小 LLM 做置信度分类：给定状态、问题和候选答案，通过预填充上下文后批量比较候选词的 logit 概率，全程亚 1 秒。关键发现：
- 模型在 logit 空间也过度自信：常规温度下几乎输出 100% 概率。
- 提高温度有效：temperature=10 时结果开始呈现合理的不确定性分布。
- 加入 null 候选 + 校准：引用论文 arXiv:2102.09690 的方法做基线校准后，「No」的校准概率从 41% 升到 60.6%，null 选项降到 6.9%，更接近真实判断。
- 结论：可以从小模型提取出比直接让它输出置信度更可靠的概率信号，但还需大量调整，尚未与 Jev 正面对比。
代码开源于 GitHub（marcintkasper/universal-classifier）。
「编程与Agent」频道最新
- Grok bot 接 ComfyUI MCP,本地无审查 Flux2 跑恐怖图创作 — PurzBeats · 2026-09-22
- 周末项目 Jevernetes:用 Jev 对 Kubernetes 日志做语义搜索 — aronchick · 2026-09-22
- 微调框架 Halo 发布：吞吐达 TRL 2.8 倍且内存更低 — JosephJacks_ · 2026-09-22
- 你会逐字读 AI 的思维链吗：盯紧怕累，放掉漏错 — infieldmitt · 2026-09-22
- Allie Miller:企业 AI 落地最缺的不是工具,是流程交接自动化 — alliekmiller · 2026-09-22
- OpenAI 员工建议:AI 产品团队应花 25% 以上时间自建评测 — OfficialLoganK · 2026-09-22