DeepSeek V4 Flash 压缩至 57GB 并成功编写编译器
hacklas · hn · 2026-08-17
开发者将 DeepSeek V4 Flash 0731（原 284B 参数）压缩至 57GB，保留了推理、工具调用和编码能力。在 M3 Max 上测试，该模型在 1 小时内编写了一个 targeting ARM64 的 C 编译器，并通过了 Fibonacci 和 FizzBuzz 测试。
核心技术点：
- 高效量化：使用 mlx-iqk 库，利用 IQK 张量编码，比 llama.cpp 或基础 MLX 更高效。
- 专家修剪：针对编码用例，从 40 层路由器中移除了 80B 不重要参数（REAP 技术）。
- 动态布局：在 Metal 设置下调整为 k-contiguous 布局以提升速度。
该方案可在 32GB MacBook 上运行（128K 上下文，约 5 tok/s），甚至在 16GB M1 Air 上也能以 1.39 tok/s 运行。相关代码已开源。
「Infra」频道最新
- 本地 AI 不是隐私功能而是路由问题：任务该跑在笔记本、内网还是云端 — bigdata · 2026-10-16
- 把 Agent 工作从 GPU 挪回 CPU，让动作更持久可预测 — cramforce · 2026-10-16
- 首个 TPUv7 Agent 基准成绩:vLLM 服务下每美元性能超 GB300 NVL72 达 1.42 倍 — vllm_project · 2026-10-16
- Phison CEO 称 CXMT 内存恐慌是“市场鬼故事”，明年的问题是缺料不缺单 — BenBajarin · 2026-10-16
- Ben Bajarin：算力未来是可互换的，超大规模厂商正为工作负载自由布局 — BenBajarin · 2026-10-16
- AirLLM 逐层加载：2.8 万亿参数模型宣称跑进 4GB 显存 — Aiden_Tech_Ai · 2026-10-16