开发者开源 Qwen-2.5-1B-RLCD：批量推理让端侧 JSON 生成快 5 倍

teortaxesTex · x · 2026-09-16

开发者 harshagundal 开源了 Qwen-2.5-1B-RLCD，宣称在 M4 MacBook 上对需要类型安全的 JSON 工作负载实现 5 倍端侧推理加速，模型已上架 Hugging Face 并附 demo。

核心技巧：不需要重新训练，任何 LLM 都可以对 JSON 的每个 key 并行批量推理，从一组候选类别中生成概率分布，需要时还可进一步优化。作者同时自嘲「他们 stealth 创业两年，我 stealth 构建了两小时」，被 @shinboson 引用并评论：大多数 AI 研究者创业公司的产品和研究几乎毫无价值，本质只是被收购招人的机会。