TileMix：基于块级混合精度的 LLM 推理加速
Hanzhi Zhang · hf · 2026-08-25
TileMix 是一种面向 LLM 推理加速的块中心混合精度注意力机制。它在融合密集注意力中将注意力分块路由至 FP16 或 INT8 精度，无需重新训练即可在恢复长上下文精度的同时提高预填充吞吐量。
「Infra」频道最新
- AI 可缩短芯片设计周期，但无法解决供应链瓶颈 — saranormous · 2026-08-26
- Llama for Windows 发布：本地运行 llama.cpp，零云依赖 — LysandreJik · 2026-08-26
- OpenAI 产品主管：未来模型将超越笔记本算力 — haider1 · 2026-08-26
- TPU v7 能效比超越 Blackwell 与 Rubin — SumitGup · 2026-08-26
- AI投资热潮或挤占资本，引发2020年代末主权债务危机 — Traditional-Chip8339 · 2026-08-26
- 复现 GPT-2 仅需 48 美元，超强 AI 门槛或降至 500 元 — jennyzhangzt · 2026-08-26