Spark-2.5-4B 跑上 250 美元 Jetson Orin Nano，128K 上下文 2048 针测试 99.8% 通过
Puzzleheaded_Base302 · reddit · 2026-09-04
作者在 MSRP 250 美元的 Jetson Orin Nano Super（8GB，整机功耗上限 25W，待机不到 10W）上成功运行 Spark-2.5-4B 小模型，认为适合 7×24 小时常驻的简单 agent。
配置：4-bit 量化 + q8 KV cache，7.4 GiB 内存占用即可支持 128K 上下文长度。
实测结果：
- 128K 上下文的大海捞针测试通过（2046/2048）。
- 2048 根完全随机唯一词+数字对（seed 20260902）：在 90K prompt 下 2044/2048（99.8%）正确且正常终止；120K prompt 下因 128K KV 上限被截断（131,072 tokens），未答部分集中在 50–100% 深度段——是截断而非检索失败。90K 是完整 2048 对答案（约 23K completion tokens）能放下的有效上限。
- llama-benchy（pp2048/tg512，3 次运行，基准内一致性检查通过）：并发 1 时预填充 571.7 tok/s、生成 13.7 tok/s、首 token 延迟 3.9 秒；并发 4 时聚合生成 26.4 tok/s、单请求 7.1 tok/s。
结论：推理速度「勉强可用」，但在功耗与成本受限的场景下是可行的常驻 agent 方案。
「Infra」频道最新
- 分析师：至今没有非 NVIDIA 训练的模型能击败 NVIDIA 训练的模型 — BenBajarin · 2026-09-04
- 2023 年配的台式机如今比购入价还贵,成升值资产 — Darpinian · 2026-09-04
- OpenAI Jalapeño 芯片曝光:RTL 冻结到流片仅 9 个月 — thehiphopswami · 2026-09-04
- 联想 IFA 发布数十款 AI 终端，RTX Spark 本本本地跑千亿模型 — 智东西 · 2026-09-04
- 曝 Astra 在 Stargate Texas 用 10 万 GPU，或成首个 10 亿美元训练 — ai · 2026-09-04
- 沙特 AI 公司 Humain 拟募 25 亿美元建 250 兆瓦数据中心 — dinabass · 2026-09-04