Mac单机跑2.4T参数模型：1-bit量化实测与SVG生成测试
Ok_Technology_5962 · reddit · 2026-08-14
一位开发者在配备512GB内存的Mac Ultra上，使用Unsloth的1-bit量化方案（iQ1S）成功运行了高达2.4万亿参数的模型，显存占用约508GB。
实测显示，该量化模型在中等推理模式下能达到约50 t/s的生成速度，但在上下文达到50k tokens时会降至5 t/s。作者使用该模型进行了多项生成测试：
- 游戏代码：成功生成了带有重力和物理引擎的飞行模拟器代码，但在96k token限制下才完整输出。
- SVG图像：在生成复杂SVG图像（如熊猫野餐、水豚泡温泉）时表现惊人，模型甚至能自主调用Python生成噪点和纹理，结构连贯且部件位置精准。
所属事件:硬核实测多平台跑通2.4T参数Qwen模型(3 条相关)→
「Infra」频道最新
- 本地 AI 不是隐私功能而是路由问题：任务该跑在笔记本、内网还是云端 — bigdata · 2026-10-16
- 把 Agent 工作从 GPU 挪回 CPU，让动作更持久可预测 — cramforce · 2026-10-16
- 首个 TPUv7 Agent 基准成绩:vLLM 服务下每美元性能超 GB300 NVL72 达 1.42 倍 — vllm_project · 2026-10-16
- Phison CEO 称 CXMT 内存恐慌是“市场鬼故事”，明年的问题是缺料不缺单 — BenBajarin · 2026-10-16
- Ben Bajarin：算力未来是可互换的，超大规模厂商正为工作负载自由布局 — BenBajarin · 2026-10-16
- AirLLM 逐层加载：2.8 万亿参数模型宣称跑进 4GB 显存 — Aiden_Tech_Ai · 2026-10-16