开源 LLM 推理静态性能模型，支持多种缓存策略
stanfordnlp · x · 2026-08-29
受 Percy Liang 的 CS336 课程启发，作者开源了一个用于 LLM 推理的静态性能模型。该工具不依赖动态批处理，而是通过解析边界提供预测。用户可选择模型、GPU、批大小、序列长度及并行策略（DP/TP/EP/PP），获取显存检查、TTFT、TPOT 等指标及吞吐量分析。
主要特性：
- 覆盖 5 种 KV cache 变体（GQA/MLA/SSM/滑动窗口/线性注意力）
- 支持推测解码与多种量化精度
- 基于约 100 个公开基准（TRT-LLM, Splitwise, MLPerf 等）校准
「Infra」频道最新
- Lambda 获 10 亿美元债务购英伟达芯片 — himanshustwts · 2026-08-29
- RX 9070 XT 运行 ComfyUI 速度波动巨大 — bosox62 · 2026-08-29
- 预测闭源前沿模型 2027 前变下载版，英伟达豪赌开源 — imjustnewatai · 2026-08-29
- 实测 Qwen3.8 在双节点 DGX 上达 181 tok/s 吞吐 — StartupTim · 2026-08-29
- Together 平台 24 小时处理 GLM-5.3 Flash 超 1350 亿 token — togethercompute · 2026-08-29
- Woof 推出链上证券化，为 AI 算力引入流动性 — edgarpavlovsky · 2026-08-29