Reddit 网友提醒：vLLM/llama.cpp 早已内置免费零样本分类器
Altruistic_Heat_9531 · reddit · 2026-10-02
- 针对 JEV 类无训练分类器的讨论，作者指出其能力其实早已存在于本地推理栈：结构化输出（grammar-constrained generation / grammar enforcer），无需服务端改造或自定义模型。
- 原理：解码器约束 LLM 只能生成符合指定 grammar/JSON schema 的 token。vLLM 支持 XGrammar、lm-format-enforcer 等后端，llama.cpp 使用 GBNF。
- 作者给出 vLLM 的 JSON schema 示例（情感分类：negative/neutral/positive + 分数 + 值），并在请求中用 responseformat: schema + temperature: 0 实现。
- 作者职业背景是 lakehouse 平台：用 1B–4B 小模型把图片、文档等非结构化数据抽取为结构化字段（地点、时间、情感、实体），入库后用 SQL 查询远比反复查 Elastic/OpenSearch 省事。
「编程与Agent」频道最新
- 独立开发者晒 Codex+TanStarter 出海模板：Cloudflare 成本+Agent 权限优势 — yihui_indie · 2026-10-02
- ChatGPT 编码集成实测思路:Firecrawl、Figma、Drive 三个工作流 — EstablishmentSea4024 · 2026-10-02
- 开发者用 AI 一次产出全端游戏，iOS 到微信小程序同步发售 — ezshine · 2026-10-02
- Prompt2Skill 仅凭自然语言任务描述自动生成 LLM 技能,平均提升 10.8 — Bo Ni · 2026-10-02
- InFlowOp 提出无标注多智能体工作流优化,最高提升 11.97% — Xuehang Guo · 2026-10-02
- 开源硬件 Harness 玩家自改固件：把 Agent 从 App 搬进 orca — dee_hw · 2026-10-02