LlamAmpere v0.7:12GB 显存跑 27B 满上下文,70 TPS 误差降 70%

Brief-Tap-6616 · reddit · 2026-11-18

LlamAmpere v0.7 发布,主打小显存显卡:新的 12GB 版 27B 量化模型支持满上下文、约 70 TPS 和 MTP,较 10 月 9 日的 2.3bpw 文件误差降低近 70%,top-1 匹配率约 96%(vs BF16);对比新版 unsloth 量化误差低约 25% 且体积小 8%,支持约 200K 上下文。关键技巧:动态微批(从最大 microbatch 起步,上下文增长后周期性缩小批次,腾出数百 MB 上下文空间)与潜在稀疏注意力 LSA(将 token 投影到 64 维索引空间聚簇,只对最佳簇做精确注意力;保留最近 8K tail+前 128 token+20% 中间 token,注意力误差降低 10-40 倍,配合缓存把大部分上下文移出显卡)。10GB 卡现在能装原 12GB 模型(213K 无头上下文),8GB 版蒸馏开发中。MIT 协议开源。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →