用 logprobs 把 LLM 从硬分类器升级为可调阈值的软分类器
JnBrymn · x · 2026-10-28
- Arcturus Labs 博客文章扩展了《Hands-On Large Language Models》中的 LLM 文本分类方法：不满足于让模型只输出 positive/negative 的"硬"分类结果，而是利用 logprobs 返回每个类别的概率，做成"软"分类器。
- 软分类器可设置概率阈值，让分类结果与训练集最优对齐，从而调节精确率/召回率的权衡。
- 作者先复现书中的硬分类器流程（任务说明 prompt + 待分类文本 + 严格输出格式约束），再演示读取首 token 概率分布的改进做法。
- 讨论串中 JnBrymn 补充观察：所谓 "System 1" 决策模型本质上就是关掉 reasoning、只预测一个 token 的 LLM，因此这种单 token 概率场景值得重新测试前沿模型的表现；cmcollier 则表示灵感来自普通 LLM 在特殊领域零样本表现的惊喜结果。
「编程与Agent」频道最新
- Will DePue 呼应 OpenAI 加 API 级能力：让多智能体一次并行分发上千个小模型调用 — willdepue · 2026-10-28
- DeckWerk 新版获早期用户好评：连续数周用于真实演讲 — vincesitzmann · 2026-10-28
- Opus 5.5 剪视频可替初级剪辑师，资深剪辑师日产出翻 5 倍 — dotey · 2026-10-28
- 软件栈正为Agent重构:开发者站点、浏览器乃至编程语言都在agent-first — mobileraj · 2026-10-28
- HABIT-Bench:八种记忆系统测用户习惯推断,最佳仅33.61% — SJTU · 2026-10-28
- 「钢琴测试」思想实验：你敢坐在形式化验证过的代码下吗 — moyix · 2026-10-28