开源推理调优器 Profile v2.2：单卡 5090 从 81 提到 421 tok/s
Inevitable-Diet-1870 · reddit · 2026-08-19
开源推理服务器优化工具 Profile 发布 v2.2：它计算 GPU 的 roofline 上限，测量运行中的 vLLM 服务器并定位瓶颈、给出具体启动参数，改完再复测，把调参变成确定性工程。
本版更新：核心规则引擎重写为 8 条规则构建的优先级 DAG（带互斥），从 5 个告警中消解回声、留下唯一真因，结果确定性输出；新增 AMD 显卡支持。作者实测（RTX 5090 + muse-glimmer 30B，SWE-Bench agent 负载，无 DFlash 投机解码）：81 → 421 tok/s（25k 上下文），每百万输出 token 成本 $3.41 → $0.65，TTFT 224ms（p95 500ms），能耗 4.72 → 1.08 J/tok；全程仅 4 轮迭代约 30 分钟，其中一轮回归（KV 抖动、TTFT 32.8s）也被记录在案。
安装与使用：
bash
curl --proto '=https' --tlsv1.2 -LsSf https://github.com/jungledesh/profile/releases/latest/download/profile-installer.sh | sh
profile diagnose --url http://localhost:8000/metrics --duration 2m
目前仅支持 vLLM，路线图包括多 GPU/TP、更多引擎与 k8s。
「Infra」频道最新
- Oracle 一周跌 12%、较 6 月高点近腰斩，市场用脚投票 OpenAI 敞口 — alvelda · 2026-10-16
- 美国数据中心暂停令突破 400 起，AI 多头称这反而利好 AI 长期发展 — kevinsxu · 2026-10-16
- 微软研究院发布 Magnetar：最快 zkVM，比现有方案快 10-39 倍 — jedisct1 · 2026-10-16
- Bonsai 2 2B 端侧模型登 iPhone:120 token/s,速度两倍于 Qwen 3.5 2B — cephaloform · 2026-10-16
- AI 挤占产能：三星因 E-glass 短缺下调 Q4 手机产量 — zephyr_z9 · 2026-10-16
- 美国白宫科技政策主任谈 Empire AI:纽约共享算力基建 — mkratsios47 · 2026-10-16