295B模型1bit压缩本地跑赢API
iamaliveix · x · 2026-07-15
Atomic Chat 把 295B 参数的 Hy3 做到极端 1-bit 压缩，生成了一个 92GB 文件，并在本地 4× RTX 5090 / 128GB VRAM 上运行，速度比云端 API 快 2.2 倍。
实测中，本地版和云 API 版都能完成同样的一次性提示词任务，分别生成了 Flappy Bird、Arkanoid、Snake 游戏，且没有明显质量差距或崩溃。两者输出规模接近：本地版 76.9K tokens / 15.5 分钟，云 API 版 75.1K tokens / 34.3 分钟。
作者强调，Hy3 是腾讯开源的 Apache 2.0 模型，可商用，且是一个 295B MoE（21B active） 的大模型。
所属事件:Atomic Chat发布1bit版Hy3离线聊天工具(3 条相关)→
「Infra」频道最新
- Anthropic 10 月 ARR 疑似暴涨，年底千亿美元 ARR 有望 — GavinSBaker · 2026-10-26
- 降价即放量：Anthropic 10 月 token 用量暴涨，年底 ARR 或破 1000 亿美元 — GavinSBaker · 2026-10-26
- Alex Banks：电力是 GPU 上线瓶颈，真正的风险是需求先降温 — thealexbanks · 2026-10-26
- 分析师：蚂蚁是当前工作负载最具弹性可置换的模型厂商 — BenBajarin · 2026-10-26
- Anthropic S-1：训练基建优势使单任务成本降40%、营收增速翻倍 — BenBajarin · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26