换掉最终决策层:Qwen+SGLang 比 Jev 快 37% 且精度相当
VeryWellVersed · x · 2026-09-23
cyberandy 分享了一项部署测试:保持 WordLift 候选世界不变,只替换最终决策层,Qwen + SGLang 的决策速度比 Jev 快约 37%,同时保持同样的高精度区间,戏称「Jev 的终结」。原发帖人则回应「那我也许可以跳过 Jev 了」。
「Infra」频道最新
- DeepSeek 弹性算力论文曝光:单套系统 160 节点日供 300 万沙箱 — zephyr_z9 · 2026-09-23
- llama.cpp 合并为 Gemma 26B A4B 优化 flash attention 形状 — jacek2023 · 2026-09-23
- 开源本地 AI 应用层 SAFi:接 llama.cpp 即可给企业交付私有部署 — forevergeeks · 2026-09-23
- Claude Opus 5.5 登陆 AWS Bedrock:更省 token、降价并首次带安全分类器 — AWS ML Blog · 2026-09-23
- Ben Bajarin 推出付费专家访谈:从天然气到吉瓦级 AI 供电 — BenBajarin · 2026-09-23
- umbrelOS 2.0 发布:把家里的小电脑变成你的私有云 — JosephJacks_ · 2026-09-23