不是所有 AI 任务都需要 LLM：小型分类决策可省时省成本
bigdata · x · 2026-09-24
Gradient Flow 的 Ben Lorica 撰文指出：大量 AI 自动化任务并不需要生成文本，只需要一个小决策——是不是垃圾邮件？工单该派给哪个团队？紧急程度如何？用 LLM 强制输出结构化结果，仍是逐 token 生成，在高频调用下带来不必要的延迟和成本。
- Jev 是专为这类小决策构建的模型：输入应用数据和固定选项的窄问题，返回答案加概率，延迟仅几十到几百毫秒，输入成本极低
- 但多数 benchmark 来自公司自身，需谨慎对待；格式正确的答案仍可能是错误答案
- 开源替代快速出现：Laya 是开源先行者，多个 OpenJev 风格项目证明普通开源模型可改造为输出固定选项的概率分布；Jev 的领先点在模型质量与校准度
- 作者判断「decide」有望与 generate、embed、rerank 并列成为标准模型调用，届时差异化将取决于质量、可靠性与信任，而非接口本身
「Infra」频道最新
- Stardock 携手高通，让 Windows ARM 设备的本地 AI 更好用 — draginol · 2026-09-24
- Stardock 携手高通:Clairvoyance 让骁龙 PC 的 NPU 跑本地 AI 智能体 — draginol · 2026-09-24
- Fireworks 发布 ARCv3：RL 权重更新体积减半，跨区域训练更可行 — sophiamyang · 2026-09-24
- Modal 揭秘:如何为万亿参数编码 agent 服务万亿级 token — ivan_bezdomny · 2026-09-24
- 高通与 Liquid AI 对谈:软硬件协同设计端侧 AI 与智能体 — samcharrington · 2026-09-24
- Zilliz CTO:Agent 让企业数据层问题无处遁形 — No_Engineer_1224 · 2026-09-24