开源 TensorRT-LLM Docker 镜像，简化推理部署
TheMoonMidas · x · 2026-09-02
作者计划开源其推理栈工作，首先发布了用于可重现部署的 TensorRT 镜像集合。该项目支持多个 CUDA 和 TRT-LLM 版本组合（如 CUDA 13.0 + TRT-LLM 1.2.x），旨在帮助独立开发者更快地实验不同模型。镜像包含了 PyTorch 和 Python 环境，并提供了构建脚本和使用示例（如作为基础镜像、自定义构建等）。
「Infra」频道最新
- 覆盖 Bedrock/Azure/Vertex 三万条价格，开发者做出云端模型变动雷达 — jsandhu0780 · 2026-10-18
- 1270万 tokens 仅花 0.14 美元，缓存命中率 99.6% 的 agent 实测 — teortaxesTex · 2026-10-18
- 单卡 9060 XT 16GB 跑 Qwen3 27B：262k 上下文 42.7 tps — Maglcite · 2026-10-18
- SlateDB+Lance+Datafusion 自建数据栈,为客户年省数百万美元 — sh_reya · 2026-10-18
- 视频生成 API 每 10 秒约 0.5 美元,自建服务器何时更划算? — Key-Lychee-913 · 2026-10-18
- vLLM 联手 NVIDIA 优化 Kimi K3:GB300 上解码达 842 tokens/s — vllm_project · 2026-10-18