浏览器免费实测 Jetson:INT4 量化让 Cosmos3-Edge 挤进 8GB
No-Dragonfly6246 · reddit · 2026-10-23
Embedl 开放了一个可在浏览器里远程使用真实 Jetson 设备农场的免费平台(embedl.com),选设备、输 prompt 或传图即可跑模型并拿到运行时统计,目前支持 1000+ 模型。
一个实际成果:Hugging Face 和 Jetson AI Lab 因 BF16 权重超出 8GB 显存而不支持在 Orin Nano 上跑 Cosmos3-Edge,经 INT4 量化及速度优化后得以运行,峰值显存仅 3.3GB,且五个 VLM 基准的平均精度基本不变(65.56 → 65.20)。
实测解码速度:Orin Nano Super 8GB 优化后 152.5 tok/s,AGX Thor 128GB 优化后 207.8 tok/s,远高于 BF16 vLLM 的 44.1/68.2 tok/s。VLM 部分已发布,diffusion 与 policy 部分即将加入。
所属事件:Embedl 免费开放浏览器远程实测 Jetson 开发板(2 条相关)→
「Infra」频道最新
- 「黄仁勋效应」：GTC 台上展示后 MicroDucks 24 小时再卖 4000 只 — andimarafioti · 2026-10-23
- Terry Tang 创办 TensorScale AI，要为世界模型重构推理基础设施 — TerryTangYuan · 2026-10-23
- 9B 模型量化实测:70% 损伤集中在前 8 层,困惑度看不见尾部风险 — DinnerPrestigious953 · 2026-10-23
- 高频交易巨头转战算力：Jane Street 领投 Thinking Machines 估值 400 亿美元 — dinabass · 2026-10-23
- 彭博:腾讯、君联资本、CPE 竞逐华为昇腾芯片,同批资本现身 DeepSeek — YvesMulkers · 2026-10-23
- 每月 6 美元的 1GB 内存小机器实测：同时跑 200 个 AI agent — swarmagent · 2026-10-23