Hugging Face 更新文档：如何打包 Triton 自动调优配置
RisingSayak · x · 2026-08-19
JIT 内核在首次调用及特定场景下会进行编译和自动调优，以选择针对特定硬件和输入问题的最快内核配置。然而，自动调优会带来运行时开销。
Hugging Face Kernels 现已明确支持将预先调优的配置打包到内核中。通过将最佳配置存储为 JSON 文件，内核在运行时可直接查找，从而有效减少高昂的调优时间。vLLM 的 MoE 内核已采用此方案。
「Infra」频道最新
- 发布 Rust 二进制体积分析工具 cargo-bsize — charliermarsh · 2026-08-19
- 开放MAX并建立开放联盟，统一NVIDIA、AMD、Trainium等AI芯片 — clattner_llvm · 2026-08-19
- Higgsfield 选 Together AI 部署，依托专用容器推理 — togethercompute · 2026-08-19
- ModCon '26 收官：Mojo 正式开源，异构计算有了软件平台 — clattner_llvm · 2026-08-19
- Grok 4.6 登陆 Amazon Bedrock:500k 上下文、四档推理力度 — SpaceXAI · 2026-08-19
- vLLM+LMCache 生产实战：KV 缓存复用加速长上下文 Agent — Old_Ad_6033 · 2026-08-19