17B 模型从 SSD 跑起:单核 33 tokens/s,无 GPU 训练
Just_Vugg_PolyMCP · reddit · 2026-09-12
开发者发布 colibrì 引擎与为其量身定制的 17B 模型 Curie,探索「权重装得进 60 美元 SSD 的模型,凭什么需要 3 万美元的机器」。
关键信息
- colibrì 把 SSD、RAM、GPU 视为单一内存层级,可在普通硬件上运行超出内存/显存容量的模型,甚至上千亿参数模型。
- 现有开源模型默认为 VRAM 设计,作者因此从头设计了与引擎匹配的模型 Curie:纯 C 编写、无推理框架,在笔记本上无 GPU 从零训练。
- 实测单 CPU 核心达 33 tokens/s,同机 dense 12B 模型通常仅 3-5 tokens/s。
- 重大限制:Curie 目前只见过 1100 万训练 tokens,还不聪明,需数十亿 tokens 才能正式评估质量;当前 alpha 演示的是架构可行性,模型未公开。
「Infra」频道最新
- DeepInfra 推 DeepCluster 专属 B300 集群，低至 2.99 美元/GPU 时 — niloofar_mire · 2026-09-12
- OpenAI 揭秘存储平台 Habitat:Python 服务峰值每秒超 2000 万请求 — xeophon · 2026-09-12
- 腾讯开源 Agent 沙箱 CubeSandbox v0.7:冷启动 60ms,支持跨节点暂停恢复 — dr_cintas · 2026-09-12
- 32GB 显存跑 Qwen3.8 27B：动态配置让上下文从 17 万扩到 26 万 token — wadeAlexC · 2026-09-12
- DigitalOcean 推 M.A.R.S. 托管 Agent 运行时,首发接入 OpenAI Agents API — OpenAIDevs · 2026-09-12
- 分析师估算：Instinct 类应用每年或烧掉上亿美元 token 成本 — ivan_bezdomny · 2026-09-12