专题 · FULL STORY

Strata:家用PC跑千亿参数模型

单人开发者开源的推理引擎 Strata 宣称可在普通游戏 PC 上本地运行 1250 亿参数大模型,上线数日即收获数千 star,随后社区用户在 RTX 5090、RTX 5070 等硬件上实测验证性能,热度持续攀升。

2026-10-01 ~ 2026-10-05 · 4 集 · 14 条

第 1 集 · 开源推理引擎 Strata:游戏 PC 本地跑 1250 亿参数大模型(2026-10-01,7 条)

单人开发者打造的开源推理引擎 Strata 让 1250 亿参数的 Qwen3.8-Flash-Next 能在普通游戏 PC 上本地运行,上线 8 天即获 5000+ GitHub stars(后续转发帖显示已升至 5.7k),成为本周本地推理领域的焦点。安全研究者与多国普通用户的独立实测均验证了可行性与吞吐表现,入门门槛远低于预期。

已确认

  • Strata 支持 Windows/Linux 一键安装,双击一个文件即可完成,在消费级硬件上运行 125B 参数的 Qwen3.8-Flash-Next,本地提供 OpenAI/Anthropic 兼容 API,可直接接入 Claude Code(@alexverem)
  • 核心机制是 GPU/CPU 分工与分层存储,不把整个模型装进显存,使 125B 级 MoE 模型能在 RTX 5070 12GB 这类消费级 GPU 上本地运行,有转发信息称速度可达 93 tokens/s(@udmrzn,转发)
  • 安全研究者 evilsocket 演示在一张 16GB 显存的 NVIDIA GPU 上运行 IQ1M 极致量化版 qwen3.8-flash-next-coder,称硬件门槛约为一张 12-24GB 显存的显卡(@evilsocket)
  • 日本用户 CurieuxExplorer 实测:87GB 的 Qwen3.8 Flash Next 在单张 RTX 5090 上以 120150 t/s 速度运行,Prefill 达 4K t/s,已接入 LibreChat 并开启 WebUI(@CurieuxExplorer)
  • 转发信息显示,一台搭载老旧便宜 DDR3 内存的电脑也可运行该 1250 亿参数模型,速度达 70 t/s(@udmrzn,转发)

为什么重要

  • 大参数模型本地部署通常依赖高端服务器或多卡集群,Strata 通过极致量化、GPU/CPU 分工与分层存储把门槛压到 12-16GB 显存甚至 DDR3 旧电脑,对隐私敏感场景与离线开发工作流有实际价值
  • 项目提供 OpenAI/Anthropic 兼容 API,Claude Code、LibreChat 等现有 AI 工具链可直接切换到本地模型,切换成本极低
  • 从安全研究者到普通用户的独立实测覆盖不同硬件档位,验证了可用性与吞吐表现,说明性能并非理想环境下的宣传数字

第 2 集 · Strata 引擎让消费级 PC 本地跑超大模型(2026-10-02,3 条)

开源推理引擎 Strata(GitHub 7.2k star)引发社区实测热潮:有用户在功率受限的 RTX 5090 加 96GB DDR5-6400 内存上以 IQ3S 量化运行 Qwen3.8-Flash,达到约 200 token/s;另有用户用 64GB 内存加 16GB 显存运行总参数 180B 的 Qwen3.8-Flash-Next,实测 40-50 token/s;还有演示显示仅需 12GB 显存即可运行 128B 模型,速度达 96 token/s,让家用游戏 PC 也能跑通常需要服务器的大模型。

第 3 集 · RTX 5070 12GB单卡跑177B模型实测11-15 tok/s(2026-10-03,2 条)

有创作者实测在RTX 5070 12GB显存、32GB DDR4内存与Ryzen 5 5600GT平台上,借助基于llama.cpp的专家流式方案本地运行Qwen3.8-Flash-Next 177B模型,达到每秒11-15个token的生成速度,显示消费级硬件配合优化方案也有望跑通超大规模模型。

第 4 集 · 开源 Strata:12GB 显存家用机跑 1250 亿参数模型(2026-10-03,2 条)

开源项目 Strata(MIT 许可,GitHub 近 8k star)是一个推理引擎,宣称可一键在 Windows/Linux 本地运行 1250 亿参数的 Qwen3.8-Flash-Next 模型,并在 localhost 提供服务,普通游戏 PC 只需 12GB 以上显存即可,实测在 RTX 5070 上达到约 53 tokens/s 的生成速度。