RTX PRO 6000 上跑 Flint:实测超官方成绩,附完整 vLLM 配置
DataCraftsman · reddit · 2026-10-22
Reddit 用户分享了在 RTX PRO 6000 上用 vLLM(带 Flint 支持 PR)以 NVFP4 量化跑 Flint 模型的完整实测:
- 代码成绩超官方:自测 LiveCodeBench v6 抽样 45 题得 82.2(官方 80.8),SWE-bench Verified 抽样 50 题得 80(官方 74.1)
- 速度:单流约 110-180 tok/s,64 并发峰值约 2500 tok/s
- 模型能正常使用其测试 harness、OKF 知识库、网页抓取与角色扮演
- 修复了 chattemplate.yml 的问题并贴出修复代码
帖子附上了完整可复用的 docker compose 配置(vLLM serve 参数含 262K 上下文、glm47 reasoning/tool parser、prefix caching 等)以及 jinja chat template 改法,作者还计划对比是否用它替换 qwen3.8 27b,并希望社区 hack 出视觉能力。
「Infra」频道最新
- PHP 漏洞 24 小时修复超百万服务,仍有约 4000 万暴露在线 — FanaHOVA · 2026-10-23
- 爆料：新架构下 Cerebras 跑 K3 级模型或只需 10 片晶圆 — bookwormengr · 2026-10-23
- 英伟达单日暴跌 7.21% 报 212.31 美元，市值仍守 5.2 万亿 — michalmalewicz · 2026-10-23
- Serverless 本质是计费模型：有状态计算该怎么按用量收费 — s4chinraja · 2026-10-23
- AKV 推理系统让 Agent 自管 KV 缓存,成本降 27.7% 准确率反升 — _akhaliq · 2026-10-23
- 云锁定新形态：AWS、谷歌自研 AI 芯片带来性能也带来迁移难题 — DavidLinthicum · 2026-10-23