Apex 开源推理加速方案:通用加速结构化模型的关键发布
AllThingsApx · x · 2026-09-11
Anthonycosta 转发并点评其团队的重磅发布:团队此前为众多模型写过大量高级 kernel,但如何通用、灵活地加速推理中各类 structure-based 模型一直是巨大挑战。此次发布已完成基准测试、文档编写并开源,团队邀请开发者试用反馈,称这只是一个开始。
「Infra」频道最新
- NVIDIA 携手 Palantir,在 AIPCon 11 上展示供应链本体合作 — eliano · 2026-09-11
- KV Cache 也做 QAT?技术拆解解释某模型 fp4 精度下表现更好 — stochasticchasm · 2026-09-11
- 网友猜测 Anthropic 走谷歌加部分 AWS，OpenAI 绑定微软 Azure — ericwdolan · 2026-09-11
- 技术账号拆解某模型 engram 细节：素数表长、4-gram、fp8 — stochasticchasm · 2026-09-11
- 英伟达：Vera Rubin 每 MW 吞吐为 Blackwell Ultra 的 50 倍，token 成本降 35 倍 — Beth_Kindig · 2026-09-11
- Epoch AI：GPT 长上下文延迟呈二次增长，定价跳档源于架构差异 — Jsevillamol · 2026-09-11