32B 开源模型 16GB 显存跑 239K 长上下文，72 层仅 18 层存 KV 缓存
solyarisoftware · x · 2026-10-19
Blockway 发布开源模型 Agens Volundr 32B v1（Apache 2.0，配套 MIT 许可的 Agens Engine，官方 GGUF 已可用），在 16GB 显存预算内跑出 239K token 的对话。
核心架构亮点：72 层中 54 层不构建增长的 KV 缓存，改为维护固定大小的循环状态，仅 18 层保留传统 KV 缓存，配合约 2.82 bits/weight 的量化，实现 262K 配置上下文。
在 16 GiB 硬性显存上限下喂入 219K token 文档，报告的速度（T=0.6）：
- Chat：57 tps
- Code：79 tps
- Thinking：71 tps
- Tool calls：67 tps
对比基准（LiveCodeBench v6 67.9、AIME 2025 80.0 等）显示其成绩与 Qwen3.8-27B 相当，部分指标领先。
所属事件:Blockway 开源 Agens Volundr 32B 模型及推理引擎(2 条相关)→
「Infra」频道最新
- 无广告无账号的下载器 cobalt：一条 Docker 命令十分钟自托管 — JafarNajafov · 2026-10-19
- DFlash2 原作者发布 Qwen3.8-Flash 投机解码模型,并发 1 时比 MTP 快 20% — rerri · 2026-10-19
- 美国能源部贷款 44 亿美元重启三座核电站，供 AI 数据中心用电 — emmanuelvivier · 2026-10-19
- 中国拟管制 23 项 AI 技术出口，2 万亿参数以上模型禁止出境 — emmanuelvivier · 2026-10-19
- DeepSeek-V4.1-Flash 2-bit 量化版发布，双 RTX PRO 6000 即可跑 — TheZachMueller · 2026-10-19
- 阿里云演示 Omarchy 系统跑在无影 AI 云电脑上 — AIFlow_ML · 2026-10-19