Basalt 0.5.0 上手腾讯 Hy4 Flash:5090 跑出 172 tok/s、1M 上下文

jesdga95 · reddit · 2026-11-20

Basalt 0.5.0 发布,新增对腾讯新发布的 Hy4 Flash 的支持:1M 上下文、动态视觉输入,NVFP4 单文件打包约需 95–100GB 内存,实测在 5090 + 5060 Ti 上散文生成约 84 tok/s、结构化输出约 172 tok/s,prefill 约 3450 tok/s。

作者初步印象:

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →