LlamAmpere v0.6.3 发布:3090+64GB 跑 QFN,120+ TPS 错误率降 50%
Brief-Tap-6616 · reddit · 2026-11-07
作者在 Ampere 卡(3090 + 64GB)上量化运行 Qwen Flash Next 的最新成果 LlamAmpere v0.6.3。
- 相比几天前的 Strata 3XS,错误率降低 50%;相比 Unsloth UD v3.1 3XXS 降低 27%
- 100K 上下文下 120+ TPS,prefill >3000/s
- 原版 Strata 3XS/2XS 质量很差(KLD .17+),作者弃用;改用 AmpereInteger+ 量化格式配合 Unsloth v3.1 基底
- 也有快 10% 的 3XS 文件,但质量提升仅 15%,作者不推荐;总内存低于 54GB 不建议跑 QFN 量化
「Infra」频道最新
- 马斯克谈 Terafab:不是恐怖工厂，是太瓦级晶圆厂 — elonmusk · 2026-11-07
- 马斯克:数据中心不受欢迎只是暂时的,孟菲斯已因它繁荣 — inductionheads · 2026-11-07
- KubeCon 北美 2026 维护者轨道：AI 与 GPU 主题贯穿全部三天 — HowDevelop · 2026-11-07
- Databricks 工程副总裁与 Neon 联创对谈：为 AI Agent 设计的数据库架构 — matei_zaharia · 2026-11-07
- 软银信贷风险升至 4 年新高,单日暴跌 10.8% 押注 OpenAI 承压 — rohanpaul_ai · 2026-11-07
- 马斯克:AI 代理流量已超人类,Cloudflare 千倍预测仍属低估 — elonmusk · 2026-11-07