Cloudflare 开源决策模型 Clef:RTX 5090 上单次决策仅 53ms
michellechen · x · 2026-10-04
Cloudflare 发布了新的开源权重决策模型 Clef,有用户在 RTX 5090 上实测,单次决策仅需 53 毫秒。
其架构非常特别:
- 从不生成文字——不做任何 token 输出
- 只对输入做一次读取,然后并行给所有允许的候选答案打分,直接输出决策结果
作者附带了一段 2 分钟的讲解视频,说明其工作原理、在哪些场景优于 Jev、哪些场景不占优。这类「打分式」而非「生成式」的架构对低延迟分类/路由场景很有参考价值。
所属事件:Cloudflare 开源决策模型 Clef,上架 Ollama 引关注(3 条相关)→
「Infra」频道最新
- Anthropic 算力支出年增 4 倍超 OpenAI,Q3 单季烧 100 亿美元 — scaling01 · 2026-11-19
- 东南亚银行停贷,泰国数据中心协会称 12 个月内 GPU 订单取消额达 180 亿美元 — SumitGup · 2026-11-19
- Gridline 发布:微调、蒸馏、批量推理一站搞定,兼容 OpenAI 客户端 — Scobleizer · 2026-11-19
- 昇腾产能测算:明年或产 1920-2160 万颗,瓶颈在存储与封装 — teortaxesTex · 2026-11-19
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19