花21美元 API 让 DeepSeek 写引擎:Mac 上跑出 300+ tok/s,快过 mlx-lm
GabGarrett · x · 2026-10-26
开发者 zhangshuibai 用 DeepSeek V4.1 Flash 作为编码 agent,只花约 21 美元 API 费用,就在一周内写出了 Molten——一个专为 LiquidAI LFM2.5-24B-A2B 在 Apple M5 Max 上优化的原生推理引擎,现已开源(Apache-2.0)。
核心思路:通用框架(mlx-lm、llama.cpp)要兼容任意模型任意硬件,而专用引擎只服务「一个模型 + 一块芯片 + batch size 1」,优化空间大得多。
关键数据(M5 Max, 128GB):
- 256 tokens 上下文下 305 tps,对比 mlx-lm 190、llama.cpp 199
- 16K 上下文仍有 248 tps,解码约 1.5x 于 mlx-lm,端到端 1.28x
- 进度:3 小时出第一个正确引擎(0.56x mlx-lm),第 2.5 天反超,第 5.7 天达 1.28x
工程形态:纯 Rust + Metal,单个约 6 MB 二进制,无 Python/PyTorch/MLX 依赖;自带聊天 CLI 和支持流式与工具调用的 OpenAI 兼容服务器,可直接接入编码 agent。限制:需 M5 系列 Mac 且 24GB+ 内存。作者将其称为「递归自我改进」(RSI)的一次实践——AI 为自己写推理引擎。
「编程与Agent」频道最新
- 开发者自建 AI 动画工作流:一个周六造出自己的 CapCut — lmoroney · 2026-10-26
- 开发者自建 AI 动画流水线:从分镜编辑器到自制 CapCut — lmoroney · 2026-10-26
- 开源 Kitebook:自托管 MCP 让多个 AI 助手互相接力干活 — ChainEnough5654 · 2026-10-26
- 让 AI 逐块搭建 Minecraft 场景，全程约 6 小时实拍延时 — flowersslop · 2026-10-26
- Kornia 作者观察:AI Agent 用库时不读文档,只看代码和 docstrings — ducha_aiki · 2026-10-26
- 开发者用纯 Rust 重写西班牙 AutoFirma,可作 Claude/ChatGPT skill 自动签名 PDF — cuenca · 2026-10-26