单月本地跑出近 9 亿 token、30.5TB 显存轮换，硬核自部署用量曝光
Distinct-Pie2389 · reddit · 2026-11-14
一位 Reddit 用户晒出全本地部署的 30 天用量：约 8.97 亿 token（prompt 888.27M + 输出 8.75M），并在 llama-swap、strata、ninfer、ComfyUI 和训练任务之间安全换入了约 30TB 显存。
作者特别说明：缓存命中的 prompt token 也计入处理量，代表复用的输入而非全部新计算的 prompt。
「Infra」频道最新
- Caltech 数学马拉松获共享算力网格支持，面向大院外研究者 — _sathvikr · 2026-11-14
- 北达科他小镇公投3:1否决数据中心限制令,市长逐一驳斥担忧 — kevinnbass · 2026-11-14
- InferenceForge 调优 Kimi K3 推理,吞吐超公开最佳基线 43% — kaiwei_chang · 2026-11-14
- 网友借到 DGX Station 一个月：GB300 实测数据全公开 — CookEasy · 2026-11-14
- Hugging Face 推出 llama.cpp v1 引擎：手机到浏览器全平台跑模型 — LinkedInNews · 2026-11-14
- 2025 年全球新装工业机器人超 60 万台，中国占 59% — ingliguori · 2026-11-14