Strata 移植 Jetson AGX Orin 64GB：Qwen3.6-35B 解码提速至约 41 tok/s
No-Setting8461 · reddit · 2026-10-26
开发者发布 Strata v0.1.45 针对 Jetson AGX Orin 64GB 的 fork，主要跑 Qwen3.6-35B-A3B。在 llama.cpp 中用 MTP-3 约 21 tok/s 解码，Strata 早期版本约 30 tok/s；启用采样 MTP-2 后，最新受控短提示测试达约 40–41 tok/s（非严格对齐基准，仅供参考）。
Fork 还加入统一 INT8 KV 缓存、前缀 checkpoint 和可选 KV 预分配。作者坦承项目重度 AI 辅助 vibe coding，已在自己设备上测试，欢迎反馈，致谢原 Strata 项目。
「Infra」频道最新
- 马斯克警告「搁浅算力」,交易员反驳:推理需求如早期能源近乎无限 — markjeffrey · 2026-10-26
- 开源 Kinoloom 让 8GB 显卡本地跑 AI 电影工作室,16 秒长镜头无跳切 — Dry-Acanthisitta-652 · 2026-10-26
- 550 美元收 768GB 内存戴尔老服务器跑大模型推理,社区热议可行性 — BobtheGodGamer · 2026-10-26
- 四张 R9700 跑 DeepSeek Flash V4.1 IQ2_XS 实测 — poofph · 2026-10-26
- vLLM 生产栈跑 K8s 没问题,但 agent 沙箱 Modal 用另一套扩展到百万并发 — NielsRogge · 2026-10-26
- 曝 Anthropic 拟以逾10%高息发90亿美元次级债,押注1.5GW TPU租赁 — Beth_Kindig · 2026-10-26