LlamAmpere v0.7:12GB 显存跑 27B 满上下文,70 TPS 误差降 70%
Brief-Tap-6616 · reddit · 2026-11-18
LlamAmpere v0.7 发布,主打小显存显卡:新的 12GB 版 27B 量化模型支持满上下文、约 70 TPS 和 MTP,较 10 月 9 日的 2.3bpw 文件误差降低近 70%,top-1 匹配率约 96%(vs BF16);对比新版 unsloth 量化误差低约 25% 且体积小 8%,支持约 200K 上下文。关键技巧:动态微批(从最大 microbatch 起步,上下文增长后周期性缩小批次,腾出数百 MB 上下文空间)与潜在稀疏注意力 LSA(将 token 投影到 64 维索引空间聚簇,只对最佳簇做精确注意力;保留最近 8K tail+前 128 token+20% 中间 token,注意力误差降低 10-40 倍,配合缓存把大部分上下文移出显卡)。10GB 卡现在能装原 12GB 模型(213K 无头上下文),8GB 版蒸馏开发中。MIT 协议开源。
「Infra」频道最新
- 美新规冻结 4.8 亿美元贷款,字节马来西亚购买英伟达 GPU 计划受阻 — rohanpaul_ai · 2026-11-18
- 企业云韧性专家:AI 时代弱云架构的代价被急剧放大 — DavidLinthicum · 2026-11-18
- 哈佛论文:编码 Agent 94.8% token 是重读缓存,能耗高 25 倍 — rohanpaul_ai · 2026-11-18
- 法国团队弃用 vLLM/PyTorch 改写 Rust+CUDA,单 GPU 推理性能暴涨 — IgorCarron · 2026-11-18
- Qwen4-Max 登陆 DeepInfra:1M 上下文,输入 $1.4/M 起 — gharik · 2026-11-18
- TensorScale 新首页实时演示推理全流程,对标主流托管商提速 — TerryTangYuan · 2026-11-18