用Fable生成内核部署模型
TheZachMueller · x · 2026-07-10
作者表示，自己正在尝试让 **Fable** 生成所需内核，以便使用 **NVIDIA NVFP4** 权重和 **TRT-LLM** 来服务 **DeepSeek v4 Flash**。 这条帖子的核心是一次模型推理/部署层面的工程实验：重点不在模型能力本身，而在于通过自动生成内核来完成特定精度权重下的部署路径。
TheZachMueller · x · 2026-07-10
作者表示，自己正在尝试让 **Fable** 生成所需内核，以便使用 **NVIDIA NVFP4** 权重和 **TRT-LLM** 来服务 **DeepSeek v4 Flash**。 这条帖子的核心是一次模型推理/部署层面的工程实验：重点不在模型能力本身，而在于通过自动生成内核来完成特定精度权重下的部署路径。