用 logprobs 把任意本地 LLM 变成分类器,附带完整命令
DivideHorror3217 · reddit · 2026-09-21
Reddit 用户分享一个实用技巧:任何 GGUF 模型配合 llama.cpp 即可实现类似 JEV 的置信度分类,无需专门训练分类器。
做法要点:
- 启动 llama-server 时设置 npredict=1、nprobs=10,关闭 reasoning
- 用明确指令的 prompt(如垃圾邮件判断,只许回复 1 或 0)
- 请求时设置 maxtokens=1 并开启 logprobs,对 toplogprobs 取指数换算成概率
实测示例:垃圾邮件样本「1」的 logprob 为 -0.0046,换算约 99.5% 置信度;「0」仅约 0.5%。作者在 4GB 显存、170GB/s 带宽的 GPU 上端到端仅 634ms,预计 H200 上可到 30-75ms。
「编程与Agent」频道最新
- 分析22万次Agent工具调用:模型监督模型在进度测算好用,防攻击不可靠 — hrishioa · 2026-09-21
- 实测发现 service_tier=fast 仅限 API，ChatGPT 订阅通道不支持 — TrickyPlastic · 2026-09-21
- 视频编辑器 Powermove 发布：内核极小，一切功能皆插件，Agent 可写扩展 — round · 2026-09-21
- Reddit 网友提出用 Jev 类封闭决策模型根治数据集打标签幻觉 — Iory1998 · 2026-09-21
- Agent Substrate 开源环境抽象层:容器化执行环境配 MCP 服务器 — rakyll · 2026-09-21
- 一句话生成整套设计系统:29 个标志控制万亿次组合 — iamrobotbear · 2026-09-21