Rust 小工具 pqnld:让现有 LLM 兼职做闭集决策模型
Difficult_Ad_2778 · reddit · 2026-10-14
作者开源了 pqnld(ErikBPF/pqnld),一个 Rust 编写的小型服务,为现有 LLM 部署增加「闭集决策」能力:
- 给定上下文、问题和允许的答案集合,返回选择项及基于模型 logprobs 的打分——而非模型自己编造的置信度数字
- 选项用单 token 标签替代全文回答;实验性扩展标签模式可用拉丁/希腊/西里尔字母、数字与标点,选项数不止 26 个
- 在 Qwen3.8 27B NVFP4 部署上实测响应低于 200ms
- 提供 HTTP 与 MCP 接口,无需额外模型或训练,vLLM 为实测后端;让同一份权重「兼职」通用决策模型,不替代专用决策模型
「编程与Agent」频道最新
- Pydantic 作者发文:图库是错误,你的代码本身就是图 — samuelcolvin · 2026-10-14
- 14 款语音 Agent 实测:开着电视,任务完成率从 38.7% 暴跌至 8.6% — SIGKITTEN · 2026-10-14
- TypeSafe AI 的 Jev 号称比前沿 LLM 快 100 倍，可替代 9 类调用 — Arindam_1729 · 2026-10-14
- Gemini 4 Argon High『马提示词』实测:OpenCode V2 跑 Antigravity agent — ZealousidealTown1974 · 2026-10-14
- Buoy 实测:给 Claude 配 MCP 工具,任务快 6 倍、成本省一半 — LovesWorkin · 2026-10-14
- LMArena 上线 Code Arena,可实测模型 WebDev 能力 — arena · 2026-10-14