Qwen 团队 VisionWeave:省 43% 视觉 token 保 98.9% 性能,吞吐提升 2.3 倍
Qwen · hf · 2026-10-12
核心思路
阿里 Qwen 团队发布 VisionWeave,把「弹性视觉表征编织」做成 MLLM 的原生能力:让模型端到端地学习在哪里、以什么粒度分配视觉表征。由两个组件构成:
- 门控空间池化器(gated spatial pooler):在共享 MRoPE 坐标系内构建粗粒度表征,与原生细粒度表征并存
- 粒度路由器(granularity router):学习按内容自适应分配两种表征
训练与结果
- 仅靠自蒸馏,Qwen3.5-4B 验证后扩展到 Qwen3.8-27B,用了 3 万多 A100 GPU 小时
- 平均节省 43.0% token,八个基准上保留 98.9% 原生性能;对比固定省 50% 的 token 剪枝基线只保 88%
- 部署到 SGLang 后:吞吐提升 2.3 倍,平均 TTFT 降低 54.4%,TPOT 降低 60.6%
「Infra」频道最新
- Strix Halo 本地推理提速:prompt 处理较 Vulkan 快 21–54% — asfbrz96 · 2026-10-12
- 传 CXMT 在 HBM 技术取得设计突破，追赶三星与 SK 海力士 — AIFlow_ML · 2026-10-12
- 同一开源模型换推理引擎就变脸，Reddit 求兼容性测试方案 — Top_Speaker_7785 · 2026-10-12
- 内存价格危机比你想象的严重得多：视频详解涨势 — Brassens71 · 2026-10-12
- 开发者入手 AMD Halo 迷你主机,散热表现出乎意料 — gajesh · 2026-10-12
- USC 发布 SoloQ:免校准 4 比特量化,扩散语言模型内存降 2.61 倍 — UniversityofSouthernCalifornia · 2026-10-12