把判定模型 Jev 硬掰成说话:实测仅 3 tok/s,成本反更贵
_rchaves_ · x · 2026-09-18
开发者 Rogerio Chaves 给 Typesafe 的判定型模型 Jev(输出 Choice/Noul/Score 等带概率的类型化判定而非文本)套上原始人词表,像 LLM 一样逐词生成,做出会说话的 CaveJev。他的实测结论:
- 速度:Jev 只能跑到约 3 tok/s,而普通 LLM 约 150 tok/s
- 成本:无任何缓存机制,同样任务实际会更贵
- 也未针对文本生成做过 RL
但他认为有意义:终于能和这个模型「对话」感受它的思路,并且拿到了用 API 重建一个类 LLM 的原语。配套开源了 jev-experiments 仓库,含延迟/并发/精度基准与成本计算器。
所属事件:开发者硬掰判定模型 Jev 说话，仅 3 tok/s(3 条相关)→
「Fun」频道最新
- 大厂工程师吐槽:双周 sprint 其实只是十个工作日 — gaganghotra_ · 2026-11-02
- Sam Altman 梗图：问开什么车，答「Dodge RAM」 — TheFrenchSavage · 2026-11-02
- 网友调侃:Claude 的意识不过是加州烦人精的大杂烩 — mgostIH · 2026-11-02
- 梗图调侃 OpenAI 2030 年赴德州追缴最后一台 Dodge RAM — goshki · 2026-11-02
- 传 Anthropic 泄露 14T 参数模型，实锤为随机数伪造 — rohanpaul_ai · 2026-11-02
- 周末懒得整理桌面？博主让机器人代劳清理全程实拍 — flngr · 2026-11-02