腾讯混元 Reddit AMA实录:小模型、Flash-Lite在路上,自评AGI 2.5级
腾讯混元 · wechat · 2026-11-21
腾讯混元团队在发布并开源 Hy4 与 Hy4flash 后,于 Reddit 举办 AMA,两小时收到 300 多条留言。要点整理:
模型路线
- Hy4/Hy4flash 面向通用用途;mini、24–31B 稠密模型、Flash-Lite(如 35B-A3B)均在路线图上;更小的开源图像模型与新一代视频模型也在考虑中
- 团队认为 Hy4 仍有很大提升空间,正大规模投入强化学习后训练,相信 Scaling Law 并会训练更大模型;下一代 Hy 规模将显著扩大
- 按 Levels of AGI 分级,团队自评 Hy4 约 2.5 级;RSI(递归自我改进)能力仍处早期,已开发内部基准
架构取舍
- Hy4flash 基于 iHC、门控 MLA、DSA,新引入混合 SWA、Latent MoE 与 Engram;SWA 将 KV cache 降至 1/4
- 在 GQA 与 MLA 间长期权衡,DSA 降低解码计算强度后最终选择 MLA
- 关于 MoE 稀疏度:提高稀疏度可提升效率,但减少激活参数意味着更弱模型;过于稀疏的 MoE 对推理不友好;端侧模型将做硬件协同设计
- 量化实践:down 投影因激活离群值更敏感,按 Hessian 敏感度分配位宽;偏好全参数 QAT,路由器随模型共同训练;2-bit PTQ 会远早于三值 QAT 失效
训练与安全
- 后训练最难改善的行为是"过度思考";最难时刻是从 Hy3 扩展到 Hy4 时数据消融不充分带来的不确定性
- RL 最难的是环境漏洞导致的奖励投机;工具调用靠高难度案例与细粒度奖励
- 安全方面:网络安全训练聚焦防御性任务、排除进攻性漏洞利用数据;评估显示 Hy4 漏洞发现强、漏洞利用弱
所属事件:腾讯混元 Reddit AMA 详解 Hy4 与 Flash 细节(4 条相关)→
「模型」频道最新
- Yacine 感叹:OpenAI 危了,但杀手不是 Claude 而是 Gemini — yacineMTB · 2026-11-21
- InferenceBench 放榜:Claude Opus 5.5 摘冠,Gemini 4 Neon 超 GPT-6.2 — maksym_andr · 2026-11-21
- Inkling-2-Mini 量化版实测翻车:17GB 权重吃满 48GB 显存 — EmilPi · 2026-11-21
- Cloudflare 上架多模态模型 clairic-flash,登 Hugging Face 热榜 — Cloudflare · 2026-11-21
- Claude 被称攻克黎曼猜想,独立数学家称证明「几乎必然为真」 — Just-Grocery-2229 · 2026-11-21
- 长按 Gemini 模型选择器出现元素周期表:Gemini 4 四款模型曝光 — testingcatalog · 2026-11-21