博主调优本地配置跑到 100+ token/s，称再加内存条还能提升
yangyi · x · 2026-10-08
博主 @yangyi 分享本地部署调优进展：优化配置后本地推理速度达到 100+ token/s，当前瓶颈是内存不足，估计再加两根内存条即可进一步提升。未指明具体模型与硬件平台。
「Infra」频道最新
- AI 借贷成本冲上 11%,两年举债 6250 亿美元,2030 年建设或花 5 万亿 — mjdramstead · 2026-10-08
- 两台 DGX Spark 跑 GLM 5.3 Flash:完整本地部署配方开源 — EAccelerate_42 · 2026-10-08
- tinygrad 推出新 tinybox 深度学习整机,可自选配置定制 — GiorgioPatrini · 2026-10-08
- 推理规模已超训练,NVIDIA 拟建 25 座 5-20MW 小型数据中心 — FinanceYF5 · 2026-10-08
- llama.cpp 新 PR 优化 GDN 状态,再提速 Qwen 3.x 预填充 — jacek2023 · 2026-10-08
- MIT 科技评论：工业自主 AI 时代需要新的数据与治理框架 — nordicinst · 2026-10-08