Cosmos3-Edge 塞进 8GB：INT4 量化后解码提速 3 倍
No-Dragonfly6246 · reddit · 2026-10-21
开发者在 8GB 的 Jetson Orin Nano Super 上跑通了 NVIDIA Cosmos3-Edge，此前 BF16 版本根本放不进 8GB 显存。
关键做法：
- INT4 量化加上一系列速度优化后，Orin Nano Super 解码速度达 152.5 tok/s；对比 AGX Orin 64GB 跑 BF16 vLLM 仅 44.1 tok/s，AGX Thor 128GB 优化后 207.8 tok/s（BF16 为 68.2）。
- 五个 VLM 基准上精度基本无损：65.56 → 65.20；VLM 部分峰值内存最低可压到 3.3GB。
目前已发布 VLM 部分，扩散（视频生成）与机器人 policy 部分即将推出。作者还在尝试一个预编译模型分发页面（因 Hugging Face 不支持预编译格式），可在线试用或本地部署。
「Infra」频道最新
- Flint 本地推理实测:M4 Pro 上 131 tokens/s,开放权重免 API 费 — josh_tobin_ · 2026-10-22
- ExecuTorch 支持在骁龙 X Elite 笔记本编译，端侧推理两条路实测 — carrycooldude · 2026-10-22
- NVIDIA GTC 柏林场：Keynote 反响与开发者展望直播 — NVIDIAAI · 2026-10-22
- Nvidia 锁定 SK Hynix 优先 HBM 供应，2027 年独占 37% 产能 — Beth_Kindig · 2026-10-22
- 分析师:几乎每条 AI 算力供应链调研都指向「缺货加剧」 — BenBajarin · 2026-10-22
- Shift-1 编码路由器降本 55%,任何人可在 AC2 上训练自己的路由 — ypatil125 · 2026-10-22