Cloudflare 开源决策模型 Clef:RTX 5090 上单次决策仅 53ms
michellechen · x · 2026-10-04
Cloudflare 发布了新的开源权重决策模型 Clef,有用户在 RTX 5090 上实测,单次决策仅需 53 毫秒。
其架构非常特别:
- 从不生成文字——不做任何 token 输出
- 只对输入做一次读取,然后并行给所有允许的候选答案打分,直接输出决策结果
作者附带了一段 2 分钟的讲解视频,说明其工作原理、在哪些场景优于 Jev、哪些场景不占优。这类「打分式」而非「生成式」的架构对低延迟分类/路由场景很有参考价值。
所属事件:Cloudflare 开源决策模型 Clef，上架 Ollama 引关注(3 条相关)→
「Infra」频道最新
- 一句提示清掉 39.7GB：用 ccmd MCP 让 Claude Code 安全清缓存 — julsimon · 2026-10-04
- 开源工具 llm-inference-bench 力推本地 LLM 推理测速统一标准 — TheZachMueller · 2026-10-04
- 从一张 3090 到 20 台 DGX Spark:家庭本地推理集群的完整进化史 — ciprianveg · 2026-10-04
- Anthropic 310亿美元数据中心落户昆士兰乡村，居民忧环境代价 — nordicinst · 2026-10-04
- 美国数据中心之争或成全球算力落地冲突的预演 — pstAsiatech · 2026-10-04
- RISC-V 芯片加速走向数据中心,美中合作在芯片对抗下持续加深 — pstAsiatech · 2026-10-04