开源 notjev：用单 token+logprobs 把本地 LLM 变成快速决策引擎
n8tz · reddit · 2026-09-22
开发者发布 Node 库 notjev，把任意 OpenAI 兼容模型改造成 System 1 式快速决策引擎：不生成文本，而是让模型输出单个字母 token（A/B/C…）并开启 logprobs，只保留选项字母概率再归一化，返回判定、概率、差距（margin）和可调弃权阈值。
要点：
- 零运行时依赖，兼容 vLLM、llama.cpp、Ollama、OpenAI 等任何支持 logprobs 的模型
- 复用聊天模型同一套权重，实现真正的 System 1 / System 2 分工：margin 太薄时升级到同一模型的普通聊天模式
- 兼容 Jev 的 /v1/systemone 接口协议
- 速度很快：Qwen3-8B + llama-server 上 p50 延迟 23ms
作者附了 quick start 示例并征集反馈。
「编程与Agent」频道最新
- 7 个开源爬虫项目盘点:自适应抓取到 AI 驱动提取一应俱全 — JafarNajafov · 2026-09-22
- 观点:若 Agent 能代劳,外卖电商等 App 将被原生替代品颠覆 — vaibhavbetter · 2026-09-22
- 哪些决策永远不该交给 AI Agent 自主执行？退款是个好例子 — ConvertMyStore · 2026-09-22
- Obsidian Starter Kit v4 发布:375 个 AI 技能把笔记库变成智能体基地 — dSebastien · 2026-09-22
- AI Engineer 演讲全索引上线:1183 场演讲带逐条时间戳速览 — strickvl · 2026-09-22
- 5.9 万次请求实测：模型路由只升不降，省钱靠的是缓存 — mrtrly · 2026-09-22