自研编译器单核 CPU 跑 Qwen3.5-0.8B:峰值内存仅 109MB,作者求业界基线数据
Maui-The-Magificent · reddit · 2026-11-23
系统工程师作者展示其模型重表示编译器 Cuddler 的中途成果:用自己为图形工作构建的解码器,通过磁盘读取方式运行 Qwen3.5:0.8B BF16 推理,单 CPU 核即可工作(速度不快),静态 256MB 内存池,实测峰值 RSS 仅 109MB。
由于迭代式解码只需少量数据驻留内存,这个数字远低于常规本地推理的占用。作者坦承自己对 AI 模型是机械式理解、对运行时了解有限,因此向社区求助:大家在磁盘推理方案上的 RSS 大致是多少?以便判断自己数字的好坏和下一步(重表示原始权重)的方向。配图为终端运行截图,显示逐轮 checkpointturn 的生成统计与耗时(单轮 10-25 秒量级)。
「Infra」频道最新
- Anthropic坐拥2400亿美元现金,分析师称将砸向半导体 — firstadopter · 2026-11-23
- 微调 Inkling 2 Mini 做工单路由:54% 问题一轮即可出结果,时延降四成 — eltokh7 · 2026-11-23
- Apple Silicon 本地推理引擎 Splash 1.7.1:ANE prefill 快 23%,共享系统提示新会话提速近 3 倍 — oss-jiiim · 2026-11-23
- 从零手写 Metal 4 引擎跑 Inkling-2-Mini:M5 Ultra 144 tok/s,32GB MBP 塞下 128k 上下文 — DankpawsDev · 2026-11-23
- LFM3-Omni-2B 跑进 iPhone 17 Pro Max:本地 agent 联网搜索并用模型自带能力生成语音 — fuzhongkai · 2026-11-23
- Melt_Dem 预言:推理优化各层将坍缩成实时撮合市场 — const_reborn · 2026-11-23