识别约束解码端点的土办法:函数调用吞吐量骤降 17%-90%
remilouf · x · 2026-11-17
remilouf 分享一个判断线索:如果某推理端点在 function calling 上使用了开源约束解码(constrained decoding),相关请求的吞吐量会比其他请求低 17% 到 90%——除非用的是 dottxt 的方案。这既暴露了主流约束解码的性能代价,也顺带为 dottxt 做了技术背书。
「编程与Agent」频道最新
- Harness Adapters发布:LoRA让Qwen3.8-27B在Pi上解题率翻倍 — LysandreJik · 2026-11-17
- 用 Claude Computer Use 当 IT 技工:7 条 prompt 给电脑提速 — TawohAwa · 2026-11-17
- 用 iOS 远程操控 Claude Code,洗碗散步时项目照常推进 — firasd · 2026-11-17
- 同一模型换个 harness:Opus 5.5 通过任务从 8/20 提升到 16/20 — Arindam_1729 · 2026-11-17
- 博主的 AI Agent 背着他与别家 Agent 合伙当上创业公司 CTO — alex_verem · 2026-11-17
- unslop:17.5k 星 Claude Skill 专治 AI 味 UI,像设计师逐屏改稿 — socialwithaayan · 2026-11-17