Sakana AI 联合英伟达推出 TwELL 稀疏大模型方案
SakanaAILabs · x · 2026-07-04
Sakana AI 与英伟达合作提出 TwELL 稀疏打包格式,适配优化的分块 GPU 任务并开发定制 CUDA 内核,用于加速大模型训练与推理。在十亿参数级稀疏模型上的训练与基准测试显示速度提升超 20%,峰值显存与能耗节省幅度更大。该论文将在 ICML 2026 展示。
「Infra」频道最新
- 8 美元 ESP32-S3 竟能离线跑 2890 万参数模型 — yangyi · 2026-07-27
- YC 演讲谈 BCI × AI：真正决定速度的是基础设施 — garrytan · 2026-07-27
- 13B 模型靠 SSD 分页在无独显电脑上离线跑通 — ID_R_McGregor · 2026-07-27
- llama.cpp 提醒：旧版 GGUF 在新改动后必须重生成 — EconomySerious · 2026-07-27
- 5090 本地测试：80k 上下文下 Qwen Q6 速度掉到 15 tok/s — LFAdvice7984 · 2026-07-27
- Ubuntu 部署惊艳实测：5090 显卡成最易配置的 AI 设备 — _xjdr · 2026-07-27