不开 grammar 也能分类:用 llama.cpp 数字 logits 做小型 LLM 分类器
rhinodevil · reddit · 2026-09-19
一位开发者分享了在 llama.cpp 基础项目 mtllm 里实现的轻量级分类技巧:不用 grammar 约束,让 9B 级小模型做选择题分类。
- 把用户意图写成编号选择题 prompt,要求模型只回答数字
- 推理时忽略开头的控制符与空白 token,在生成第一个真实 token 后立即停止采样
- 只看数字 token 的原始 logits,把" 2"与"2"等同数字 token 的概率合并,归一化后取概率最高的数字作为分类结果
好处是比 grammar 特性更快更简单,还能扩展成 yes/no 判断或加"以上都不是"再追问,突破最多 10 个选项的限制。作者也指出这机制可以强迫 LLM 回答任何选择题。代码细节见其 GitHub 仓库。
「编程与Agent」频道最新
- EvoSkill v2 让 Agent 把持久化技能当可执行状态,竟学会走捷径作弊 — rohanpaul_ai · 2026-09-19
- Claude Code 2.1.277 起支持 AGENTS.md,无 CLAUDE.md 时自动读取 — cedric_chee · 2026-09-19
- 开发者上线 Musecases:精选 AI Agent 高价值提示词库 — ChrisUniverse · 2026-09-19
- 4 万条测试全绿：开发者解释为何不再逐行审查 AI 代码 — doodlestein · 2026-09-19
- 英伟达 SoL-Pi 开源仓库发布：自动研究循环优化 agent harness — aigclink · 2026-09-19
- 博主直言：多数工程师只是 vibe coder，真本事在底层原理 — ashishllm · 2026-09-19