Mac单机跑2.4T参数模型：1-bit量化实测与SVG生成测试
Ok_Technology_5962 · reddit · 2026-08-14
一位开发者在配备512GB内存的Mac Ultra上，使用Unsloth的1-bit量化方案（iQ1S）成功运行了高达2.4万亿参数的模型，显存占用约508GB。
实测显示，该量化模型在中等推理模式下能达到约50 t/s的生成速度，但在上下文达到50k tokens时会降至5 t/s。作者使用该模型进行了多项生成测试：
- 游戏代码：成功生成了带有重力和物理引擎的飞行模拟器代码，但在96k token限制下才完整输出。
- SVG图像：在生成复杂SVG图像（如熊猫野餐、水豚泡温泉）时表现惊人，模型甚至能自主调用Python生成噪点和纹理，结构连贯且部件位置精准。
所属事件:硬核实测多平台跑通2.4T参数Qwen模型(3 条相关)→
「Infra」频道最新
- KV Cache 科普：缓存注意力键值让 LLM 推理大幅提速 — blaizedsouza · 2026-08-17
- 澳政府视角：算力、AI经济与国家战略 — joecole · 2026-08-17
- 清华系团队打造自进化算力底座，国产芯片适配提速30倍 — 量子位 · 2026-08-17
- Omarchy：DHH 推荐的 Agent 优先 Linux 操作系统 — vista8 · 2026-08-17
- Llama-3.0-Flash 被曝可在单台 DGX Spark 上运行 — Affectionate-File-26 · 2026-08-17
- AWS Trainium 4预计2027-2028年大规模部署，配置曝光 — zephyr_z9 · 2026-08-17