Agens Volundr 32B v1 修复循环问题,MIT 引擎 16GB 跑 262K 上下文
ComfortableKindly507 · reddit · 2026-10-18
Blockway 团队根据社区反馈发布 Agens Volundr 32B v1,并同步开源 MIT 协议的 Agens 推理引擎。
预览版问题的修复:
- SWE-bench 任务上的重复循环从 36/50 降到 0/50
- 推理步骤不再被 32K 截断(中位数 120 token,最长 12K)
- 新增 session continuation:后续轮次复用模型状态,SGLang 构建下 agent 重放快 2.9 倍(中位 1.6s)
- 基准提升:SWE-bench Verified 50 题子集 22→27,τ²-bench 89→92/120,SWE 任务中位耗时 124→82 分钟
架构与引擎:
- 72 层中 54 层用固定大小状态替代 KV cache,长上下文成本极低;INT4 单卡 48GB 可跑 131K 输入,1K–128K 解码速度保持平稳
- Agens Engine 比自家 SGLang 构建解码快 1.4–1.6 倍(代码+思考最高 1.8 倍),JSON 输出达 199 tok/s
- 新构建 16GB 内存预算跑 262K 上下文(实测到 239K),约 2.85 bit/权重,权重下载 25GB;12GB 版本在规划中
诚实警告:该位宽下质量有损(GPQA 73.7 vs bf16 的 80.3),编码保持稳定(HumanEval 73.2%);实测在 48GB 卡上以 16GiB 硬上限完成,真实 16GB 卡可能更慢;219K 长文档首 token 延迟 151 秒。LiveCodeBench v6 67.9、AIME 2025 80.0,均领先 Qwen3.8-27B。
「Infra」频道最新
- Solo.io 拆解 NVIDIA OpenShell 与 Agent Substrate：谁家 Agent 沙箱更能扩 — bibryam · 2026-10-18
- llama.cpp 新增 IQ2_K 至 IQ6_K 五种量化:同体积精度更高 — ethertype · 2026-10-18
- 分析称市场严重错估美光：HBM 五年放量 7 倍价格还翻近 3 倍 — JOBhakdi · 2026-10-18
- FT：美国 10 万亿美元 AI 基建遇冷，47 个项目延期或取消 — TansuYegen · 2026-10-18
- Google SRE 书出版十年,为 AI 与云时代全面重写推出第二版 — mgill25 · 2026-10-18
- 实测 GPT-2 KV cache:FLOP 省1000倍,延迟仅提速6倍 — atronos_kronios · 2026-10-18