17B 模型从 SSD 跑起:单核 33 tokens/s,无 GPU 训练
Just_Vugg_PolyMCP · reddit · 2026-09-12
开发者发布 colibrì 引擎与为其量身定制的 17B 模型 Curie,探索「权重装得进 60 美元 SSD 的模型,凭什么需要 3 万美元的机器」。
关键信息
- colibrì 把 SSD、RAM、GPU 视为单一内存层级,可在普通硬件上运行超出内存/显存容量的模型,甚至上千亿参数模型。
- 现有开源模型默认为 VRAM 设计,作者因此从头设计了与引擎匹配的模型 Curie:纯 C 编写、无推理框架,在笔记本上无 GPU 从零训练。
- 实测单 CPU 核心达 33 tokens/s,同机 dense 12B 模型通常仅 3-5 tokens/s。
- 重大限制:Curie 目前只见过 1100 万训练 tokens,还不聪明,需数十亿 tokens 才能正式评估质量;当前 alpha 演示的是架构可行性,模型未公开。
「Infra」频道最新
- Neocloud 初创 General Compute 融资 1 亿美元,专押英伟达体系外推理芯片 — tonygwu · 2026-10-28
- 用 $TAO 两分钟上手开源模型：Bittensor 侧链 SN53 实测体验 — markjeffrey · 2026-10-28
- AI 代码潮致 CI 需求暴涨，Celesto 一周 CI 分钟数增长 9 倍并分享扩容细节 — aniketmaurya · 2026-10-28
- DeepMind 团队发布 Rust 虚拟机 Capsem，为 AI Agent 提供 hardened 隔离环境 — rakyll · 2026-10-28
- SemiAnalysis:OpenAI 正洽谈约 1GW TPU 租约并寻找场址 — dylan522p · 2026-10-28
- 实测 11 种视频超分方案：本地免费、Topaz 与云端全横评 — lopas99 · 2026-10-28