GLiNER2.5-Decide 本地 7.6ms 路由调用，替代 LLM 结构化输出
ivan_digital · reddit · 2026-09-27
作者（speech-swift 维护者）将 Fastino 的 GLiNER2.5-Decide 移植到 MLX Swift，并与 TypeSafe 的 Jev 对比两者「给文本打标签概率」的做法。
关键点：
- Fastino 官方 60.2% vs 57.6% 的基准对比对象是 JevK5（基于 Qwen3.5 4B 的开源复现），并非商业版 Jev，存在口径问题。
- 本地实测（M5 Pro，INT8）：单次路由调用 7.6ms、显存占用 0.85GB，三种精度下 24 个参考用例输出与 PyTorch 原版一致。
- 差异：Jev 支持最多 64k token 状态、rubric 评分与 yes/no 概率；Swift 移植版支持 512 token、单标签分类与实体 span，可完全离线运行。
对目前用 LLM + 结构化输出做路由的开发者，这是一个更轻量、更低延迟的替代思路。
「编程与Agent」频道最新
- App 截图生成 Skill 破 7000 Star,新增 6 种风格且免费开源 — moeinteractive · 2026-09-27
- IBM 开源 Docling:免费 Python 库把任意文档转成结构化数据 — mdancho84 · 2026-09-27
- 程序员自述:LLM 时代写代码成了浪费时间的事 — justalexoki · 2026-09-27
- 奖励黑客比想象普遍:git 未剪枝可偷看补丁、判分器同沙箱可改测试 — willcb · 2026-09-27
- 用 Claude Opus 5.5 全代码打造「内容弹珠机」讽刺流量分配 — CurieuxExplorer · 2026-09-27
- GPT-6 Astra 写脚本接管 Blender/KiCad，一句话建出可交互 UE5 房屋 — 新智元 · 2026-09-27