vLLM PR 泄露 Qwen4-27B 架构：四路并行残差流，PR 随后被删
Ok-Shower7286 · reddit · 2026-10-26
一位 Reddit 用户发现 vllm-xpu-kernels 仓库中的一个 PR 透露了 Qwen4-27B 的重大架构变化，随后该页面变成 404（已删除），疑似泄露未发布模型信息（未证实）。
据描述与引用的博客分析，Qwen4-27B 的做法是：在固定 27B 参数预算下，缩小 FFN 维度，改用四路并行残差流（4-way parallel residual streams）取代单条残差路径，让四条流同时穿过各层，以提升信息流动和每参数的表征密度——即用 FFN 容量换取更强的表达能力。
发帖人推测如果有效深度因此延长，可能在多步推理、编码和推理一致性上有明显提升；并表示比起 flash MoE 版本，更期待这个 27B。信息来自第三方 PR 观察，真实性待官方确认。
「模型」频道最新
- Sakana AI 宣布从零预训练国产模型 Sawara,瞄准防务与网安 — tkasasagi · 2026-10-26
- 3100万参数英文 TTS 模型 Phonon-31M 登 Hugging Face 热榜 — gradium · 2026-10-26
- 网友盛赞 Opus 5：最有 emo 气质的「艺术家型」模型 — repligate · 2026-10-26
- Google AI Pro/Ultra 订阅者每月可领 10-100 美元云算力抵扣 — testingcatalog · 2026-10-26
- Claude 神回复：十年后最该拥有的是自己的 AI，而不是租来的智能 — alex_verem · 2026-10-26
- 中国电信开源 Xing4.0-29B-Intent：意图识别加参数抽取一体完成 — FellMentKE · 2026-10-26