本地跑大模型建议：把 token 用量挂在最显眼处
natesiggard · x · 2026-10-18
一条简短的实践建议：一旦搭建了本地推理（local inference），就应该放一个显示屏，把 token 用量展示在每天都会看到的位置，这样在用量趋于平缓（使用减少）时能及时给自己一个提醒。本质是用可视化仪表对 AI 使用习惯做行为反馈设计。
「Infra」频道最新
- Ollama Cloud 承诺零数据留存：托管于美欧且不用于训练 — ollama · 2026-10-18
- DigitalOcean 一键 AI Agent 镜像最低要 25-50GB 磁盘 — vboykis · 2026-10-18
- Mac Mini M5 64GB 跑 Qwen Flash Next：SSD 流式推理实测附数据 — turtleninja99 · 2026-10-18
- 单张 4090 跑满 552B DeepSeek-V4.1-Flash：27 tok/s、512K 上下文 — indrasmirror · 2026-10-18
- Strata 0.1.45 前默认贪心解码致循环，附 4-bit 质量与速度实测取舍 — Distinct-Pie2389 · 2026-10-18
- 6GB 显存跑 agent 集群：毫秒级微模型当工蚁，大模型只管决策 — everettplays · 2026-10-18