自研编译器单核 CPU 跑 Qwen3.5-0.8B:峰值内存仅 109MB,作者求业界基线数据

Maui-The-Magificent · reddit · 2026-11-23

系统工程师作者展示其模型重表示编译器 Cuddler 的中途成果:用自己为图形工作构建的解码器,通过磁盘读取方式运行 Qwen3.5:0.8B BF16 推理,单 CPU 核即可工作(速度不快),静态 256MB 内存池,实测峰值 RSS 仅 109MB。

由于迭代式解码只需少量数据驻留内存,这个数字远低于常规本地推理的占用。作者坦承自己对 AI 模型是机械式理解、对运行时了解有限,因此向社区求助:大家在磁盘推理方案上的 RSS 大致是多少?以便判断自己数字的好坏和下一步(重表示原始权重)的方向。配图为终端运行截图,显示逐轮 checkpointturn 的生成统计与耗时(单轮 10-25 秒量级)。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →