classif:读单个 token logprobs 让 shell 脚本按语义分支

piotr1215 · reddit · 2026-10-06

受 Jev 启发,作者开发了 classif——一个让 shell 脚本基于「语义」做分支的本地工具。它向本地模型(Ollama,任意支持 logprobs 的模型,作者用自发布的 Gemma 微调 Winnow-12B,GGUF 约 8GB)问一个问题,从单个答案 token 的 logprobs 读取标签、概率并返回退出码,因此 if、&& 等都能直接工作:例如把 git diff --staged 管道给 classif 判断「改动是否涉及密钥/权限」,再条件触发 claude 做安全审查。单次判定是一次 numpredict 1 的 API 调用,12GB 显卡上约 0.3 秒。长文本不截断:先分段,用 embeddinggemma + BM25 挑选相关段落再判定,对 772KB 的《傲慢与偏见》问「伊丽莎白死了吗」17 秒出结果,索引缓存后 3 秒。Python 3.12,零第三方依赖。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →