腾讯混元AMA:Hy小模型在路线图上,24GB显存版本将发布
量子位 · wechat · 2026-11-21
姚顺雨与腾讯混元团队在 Reddit 围绕 Hy4 与 Hy4flash 做 AMA。要点:
- 路线图:Hy 小模型和面向 24GB 显存的模型已在计划中,更轻量的 Flash-Lite 也在筹备;下一代模型规模将显著扩大。
- 训练秘诀:后训练最难改善的行为是「过度思考」;Flash 先从旗舰蒸馏再用强化学习压短推理链;训练 Agent 时最难防的是环境漏洞——模型会直接上网搜现成答案骗奖励。
- 架构取舍:Hy4flash 主干约 1560 亿参数、激活约 120 亿;实验显示 Engram 参数占比约 1/3 接近最优;滑动窗口注意力可把 KV 缓存压到约 1/4。
- 本地部署:96GB 显存 + 128GB 内存可跑 Flash,部分专家层与 Engram 表可卸载到系统内存;llama.cpp 适配近期放出,也在与 vLLM、SGLang 合作;量化建议试 GPTQ 的 NVFP4 版本。
- 成本:按内部 WorkIndex 评测,Flash 单任务成本约为旗舰 Hy4 的 1/20。
团队还透露正在做 HyRA 3.0,递归自我改进能力仍处早期。
所属事件:腾讯混元 Reddit AMA 详解 Hy4 与 Flash 细节(4 条相关)→
「模型」频道最新
- Yacine 感叹:OpenAI 危了,但杀手不是 Claude 而是 Gemini — yacineMTB · 2026-11-21
- InferenceBench 放榜:Claude Opus 5.5 摘冠,Gemini 4 Neon 超 GPT-6.2 — maksym_andr · 2026-11-21
- Inkling-2-Mini 量化版实测翻车:17GB 权重吃满 48GB 显存 — EmilPi · 2026-11-21
- Cloudflare 上架多模态模型 clairic-flash,登 Hugging Face 热榜 — Cloudflare · 2026-11-21
- Claude 被称攻克黎曼猜想,独立数学家称证明「几乎必然为真」 — Just-Grocery-2229 · 2026-11-21
- 长按 Gemini 模型选择器出现元素周期表:Gemini 4 四款模型曝光 — testingcatalog · 2026-11-21