Basalt:面向 Blackwell 的快速推理引擎,动态视觉零显存占用
jesdga95 · reddit · 2026-10-13
Reddit 用户发布 Basalt，一个从 Strata 分叉、针对 Blackwell GPU 深度调优的 3.8 Flash Next 推理引擎，开源在 GitHub。
- 支持视觉，但图像编码器常驻显存会挤占专家权重的高速缓存空间，放 CPU 又太慢
- 社区用户提出「为什么不按需加载」，由此实现 --vision dynamic：空闲时编码器驻留内存，加载时近零显存占用
- 图片到达时借用专家缓存槽位，约 30ms 上传编码器到显存完成编码，结束后约 60ms 从内存回填专家权重；纯文本场景零性能损失
- 编码器使用 Basalt 自研 kernel，速度最高达 llama.cpp 的 3 倍
「Infra」频道最新
- 应用材料 CEO：AI 驱动 WFE 增长，良率创新成关键抓手 — BenBajarin · 2026-10-13
- 华为麒麟芯片设备出货破 1 亿台,Kirin 9050 晶体管密度提升 53.5% — pstAsiatech · 2026-10-13
- 3090 FE 跑 LLM 显存数秒冲到 112°C,实测给出功耗红线 — Farmadupe · 2026-10-13
- 用 KVM 一键切换双机外设,还能远程唤醒电脑给 agent 打工 — noahsolomon · 2026-10-13
- 11 次自信错误没一次来自模型：缓存 bug 把 24 倍差距测成持平 — colinmcnamara · 2026-10-13
- 为省 Modal 账单,开发者改用 Mac mini 跑沙箱容器 — TheZachMueller · 2026-10-13