TensorRT Model Connect 开源发布，两条命令接入 HF 模型推理
JFPuget · x · 2026-08-19
NVIDIA 开源发布 TensorRT Model Connect（Public Preview）：支持的 HuggingFace 模型仅需两条命令即可完成端到端 TensorRT 推理，无需中间 ONNX 导出，产物可通过原生 C++ API 运行。整个项目（模型实现、性能调优、测试、集成与文档）由 OpenAI Codex agent 编写、人类负责指导与审查。
TVM 作者陈天奇转发强调，本版本首次一等支持 TVM-FFI，可将自定义 DSL 内核与 agent 生成的内核带入 TensorRT 推理。官方教程展示了如何用 TVM-FFI 内核替换 Qwen3-8B 图中的部分节点，或用 CuTe DSL 内核替换 DistilBERT 区域，全程无需写 TensorRT C++。教程分两级路径：推荐级直接选模型家族发布的版本化 recipe；高级级可手工检查原始图并指定节点 ID。两级共用同一后端校验逻辑，DSO 不存入 bundle，可在构建新 pipeline 时重新绑定 ABI 兼容的实现。
所属事件:英伟达开源 TensorRT Model Connect，两条命令部署 HF 模型(2 条相关)→
「Infra」频道最新
- Artificial Analysis 首测 Vera Rubin NVL72:每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- Vera Rubin NVL72 实测：每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- 英伟达 Vera Rubin NVL72 首批实测：每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- Turing Post 盘点 2026 年 14 款开源 LLM 可观测性工具 — TheTuringPost · 2026-10-16
- 本地 AI 不是隐私功能而是路由问题：任务该跑在笔记本、内网还是云端 — bigdata · 2026-10-16
- 把 Agent 工作从 GPU 挪回 CPU，让动作更持久可预测 — cramforce · 2026-10-16