单张RTX 3090跑百万token上下文：KVarN量化突破极限
Anbeeld · reddit · 2026-08-10
开发者 Anbeeld 分享了一项极具极限的本地大模型部署测试：有用户成功在单张 RTX 3090（24GB 显存）上，为占用约 17GB 显存的 Qwen 3.5 35B A3B 模型加载了近 100 万 token 的上下文。
测试不仅验证了服务器未崩溃，更在超长文本的不同位置成功提取了 7 根“针”（精准信息检索），证明模型在极限量化下依然保持了有效的长文本理解能力。
这一突破得益于 BeeLlama.cpp 分支与华为提出的 KVarN（方差归一化 KV-Cache 量化）技术。相比传统的 4-bit 量化，KVarN 在极低比特率下展现出更优的精度，彻底改变了业界对低比特 KV 缓存量化的性能预期。
所属事件:Meta开源30B模型Muse Glimmer，主打本地智能体(108 条相关)→
「Infra」频道最新
- Zero 下一代 IVM 引擎塞进单个 DO，实时查询 R2 上 100GiB 数据库 — threepointone · 2026-10-16
- Aziz 梗图开玩：2028 年自己开 Roadster 去芯片工厂提货 — beffjezos · 2026-10-16
- 一个人维护 40 亿台设备的时钟：时区数据库背后的志愿者 — danbri · 2026-10-16
- 4x DGX Spark 跑 DeepSeek V4.1 Flash 实测：内存根本不够，494 t/s 有水分 — Aroochacha · 2026-10-16
- 开发者开源 Intel GPU Vulkan 推理升级:部分路径摄取提速 2 倍 — Fun-Aardvark-1143 · 2026-10-16
- ELSFP 光封装三大痛点：插损超 3dB、PMF 贵且难装、洁净间要求高 — jwt0625 · 2026-10-16