腾讯开源 770B 混合模型:激活仅 49B,1M 上下文,混合 GGUF 压至 214GiB
future_coded · x · 2026-09-05
腾讯混元发布 Apache 2.0 开源文本模型,总参数 770B、每 token 激活 49B、原生 1M 上下文,vLLM 和 SGLang 有 Day 0 支持,另有官方 FP8 checkpoint。
量化路线
- 混合 GGUF 把权重从约 1.5TB 压到 214GiB,报告称精度接近 BF16,只有小幅分数波动
- 注意这是逐层混合量化,不是一比特整体压缩:敏感层保留更高精度,其他层压得更低
现实检验(preview 阶段)
- GGUF 需要打补丁的 llama.cpp 路径(hyv4)
- offload 仍是 offload,不应宣传为"笔记本原生跑 770B"
- 建议在自己的基础设施上实测 tokens/s,并用真实任务对比 BF16/FP8 与混合 GGUF
作者认为真正的故事是所有权:下载权重、自己部署,同时保留 49B 激活带来的可托管能力,持续降低部署门槛。
所属事件:腾讯开源混元 Hy4 预览版：770B 参数、1M 上下文(3 条相关)→
「Infra」频道最新
- 三星电机突入 Nvidia 基板供应链，台湾基板高管直呼意外 — zephyr_z9 · 2026-10-23
- Suhail 高价收货:公开求购用于模型的 RL 内核优化任务 — AIFlow_ML · 2026-10-23
- GitHub 自述:99.99999% 仓库已迁至 Azure,按引用级仲裁解锁 agent 规模并发 — marlene_zw · 2026-10-23
- 黄仁勋到访阿斯塔纳，与哈萨克斯坦副总理畅谈 AI 国家战略 — nvidia · 2026-10-23
- 实测RTX 4060：FP16矩阵乘法并非恒快2倍，大矩阵提速约3.5倍 — cneuralnetwork · 2026-10-23
- BaseQuant V1 量化 Qwen3.8-27B,KL 散度比 Unsloth 低 17–34% — nightowlsleeping · 2026-10-23