Boole-32B-A2.5B:9GB 1.8-bit MoE 单卡 5090 跑出 565 token/s
d77chong · reddit · 2026-11-13
Recursive 团队在 r/LocalLLaMA 发布 Boole-32B-A2.5B-Preview,是其 flint 模型的早期 1.8-bit 量化版本。
- 通过混合精度量化、专家剪枝和自定义内核,模型比 BF16 小 9 倍,比 INT4 快 2 倍
- 仅 9GB,在单张 RTX 5090 上达到 565 token/s
- 团队此前发布过 1-bit 的 Boole-1.7B,应社区对更大更快 MoE 的需求推出此版本
权重已上传 Hugging Face(GGUF 格式),并提供 demo 仓库和自定义 llama.cpp fork。
「Infra」频道最新
- 中芯国际 Q3 营收创纪录 31.9 亿美元,分析师称资本开支仍偏低 — zephyr_z9 · 2026-11-13
- General Reasoning：75 万美元跑通西方首个开源多智能体 RL 配方 — rosstaylor90 · 2026-11-13
- Unsloth UD_IQ1_M 量化实测：省 6GB 但工具调用频繁崩坏 — SomeoneInHisHouse · 2026-11-13
- 单台 DGX Spark 跑 ripple-65b 预览版：10.8 tok/s 且推理全程连贯 — DZhang50 · 2026-11-13
- 180B 总参仅 6B 激活:Qwen3.8-Flash-Next 29 分,消费级显卡可跑 — drdanielbender · 2026-11-13
- Plotly 数据分析基准：三款可跑进 64GB 内存的模型拿到 B 级 — DZhang50 · 2026-11-13