用 logprobs 把 LLM 硬分类升级为可调阈值的软分类器
JnBrymn · x · 2026-09-24
作者受 Jay Alammar 与 Maarten Grootendorst 的《Hands-On Large Language Models》分类章节启发，提出一个扩展技巧：让 LLM 做情感分类时，不只输出 'positive'/'negative' 的硬答案，而是读取返回的 logprobs，得到每个类别的概率，从而实现"软分类"。
核心做法：
- 用标准提示词让模型只输出 'positive' 或 'negative'；
- 从 API 响应中读取这两个候选 token 的 logprob，换算成概率分布；
- 由于拿到了连续概率，可以在训练集上调优阈值，让分类器的查准/查全按业务需求对齐，而不是接受模型的二选一。
作者还提供了可复用的 getsentiment 函数示例代码，并配了一段 10 分钟的视频讲解。这是一个低成本、无需微调即可提升 LLM 分类工程化水平的小技巧。
「编程与Agent」频道最新
- 用 Nix 拆分沙盒基础层:减少模型可见环境、提升可审计性 — sloppenheimer · 2026-09-24
- Devin 上线 Microsoft Teams 原生支持与 Microsoft 365 一方集成 — DevinAI · 2026-09-24
- 开发者评 AI 环境工具链:chronus/overlaybd 有戏,审计应在 syscall 层拦截 — sloppenheimer · 2026-09-24
- Notion 工程师：各家疯狂补贴 token，用户该随时切换工具不丢上下文 — nbaschez · 2026-09-24
- 传 GPT-6 Astra 接管 Canvas 全流程，一句话产出完整视频项目（未证实） — JaynitMakwana · 2026-09-24
- Rust/CUDA 推理引擎 reflex 支持 DeepSeek MLA，冷启动比 llama.cpp 快 1.3 倍 — SaveAmerica2024 · 2026-09-24