Telperion 免训练改造 Qwen3.8-27B:KV 缓存压缩 4 倍,SWE 成绩反升
fulgencio_batista · reddit · 2026-10-15
研究团队 Telperion 发布 Qwen3.8-27B 的潜在注意力（latent attention）改造版本 MLA 与 GLA-g2，无需重新训练即可将 KV 缓存压缩 4 倍。
关键数据：
- MLA 版在 SWE-bench Verified（n>1500）上得分 42.1%，比原版 39.5% 提升 6.58%，且推理 token 减少 20% 以上
- GLA-g2 版在双 GPU（TP=2）下也能保持 4 倍 KV 压缩，解决 MLA 多卡服务内存劣势
- 提供 FP8/INT4/EXL3 量化版本，FP8 内存 31.5GB、top-1 分歧仅 0.06%，保真度优于同尺寸 gguf 量化
- 附带 vLLM 插件，已在 RTX PRO 6000、H100、2×RTX 5060Ti 上验证
方法兼容几乎所有使用 grouped query attention 的模型，团队承诺近期开源方法本身，并计划在拿到更多算力后发布完整基准的第 2 版。
「模型」频道最新
- Perplexity 上线 Gemini 4 Argon,称刷新 WANDR 基准纪录 — AravSrinivas · 2026-10-16
- 开发者吐槽现行 DLP 全是正则方案，欲用 LLM NER 重做 — HankYeomans · 2026-10-16
- 爆料称 GLM 5.5 与 Kimi K3.1 即将发布,或与反蒸馏封锁有关 — zephyr_z9 · 2026-10-16
- 75 家企业真实工作基准:GPT-6 与 Claude 排名随任务反转 — BorisMPower · 2026-10-16
- Google 年付 Gemini AI Plus 用户遭中途降级,11月13日起失去 Pro 模型 — Ray_ProUser · 2026-10-16
- 夸一句就出图：小模型画鹈鹕骑车SVG画质飙升 — Fancy-Snow7 · 2026-10-16