Stratoscope:菜单栏实时监控本地 LLM 推理速度与缓存命中
LisaMarieJosefine · reddit · 2026-11-10
Stratoscope 是一个 MIT 协议的开源小工具,让你不用开新窗口就能监控本地 LLM 推理。它驻留在 Mac 菜单栏或 Windows 任务栏,实时显示 prefill/decode 的 tok/s、prompt 缓存命中、上下文填充度以及 RAM/GPU/CPU 用量。
目前只支持 Strata 推理引擎,但每个引擎只是一个适配器,接入其他引擎的门槛很低，欢迎社区贡献。项目地址:GitHub。
「Infra」频道最新
- 英伟达投资者私下不满仍公开力挺黄仁勋，时机成焦点 — GaryMarcus · 2026-11-10
- 低精度推理已成现实,训练前向/反向/优化器将转向 8-bit 与 4-bit — udmrzn · 2026-11-10
- OpenRSI 让 AI 智能体自我改进推理基建：8 个全模态模型吞吐提升 7.6%–344% — ChengleiSi · 2026-11-10
- Bun AoT 实测:OpenClaw 启动快 3.1 倍,OpenCode 省内存 41% — steipete · 2026-11-10
- Epoch AI 今年算力开支将超过员工工资,研究员直言意外 — Jsevillamol · 2026-11-10
- 墨尔本实验室发布 Sugar Glider:O(1) 推理架构实测至万亿参数 — kimmonismus · 2026-11-10