max_tokens 设 1 读 logprobs，任意 LLM 即可输出分类决策
keep_up_sharma · reddit · 2026-09-24
作者分享一个无需新模型即可让任意托管 LLM 做结构化决策的技巧：把 maxtokens 设为 1，向 API 请求 logprobs，直接读取模型对给定选项 id 的真实概率分布，从而得到类似 JeV 风格（含多模态）的分类/决策输出。该方法兼容多家 LLM 提供商，可同时提升速度并降低成本。作者还发布了开源（MIT）网页 demo decidr-ts 供试用。
「编程与Agent」频道最新
- 开发者用 AI 实时写作检查器：能标记「LinkedIn 腔」还会吐收据 — jh3yy · 2026-09-24
- zlaya:Zig 写的纯 CPU 推理引擎,可在 CDN 边缘跑 Laya 模型 — jedisct1 · 2026-09-24
- 单卡 L4 跑故障分诊模型,180ms 内给出高置信诊断 — rseroter · 2026-09-24
- Matt Shumer 让 Opus 5.5 连续跑近一天，持续改进开放世界 NYC 游戏 — mattshumer_ · 2026-09-24
- 用小票打印机实时吐槽:会标记 LinkedIn 腔的写作检测器 — jh3yy · 2026-09-24
- 有人创下单次 Claude 运行最贵纪录,Shumer 直言「不敢说花了多少」 — mattshumer_ · 2026-09-24