Basalt 0.5.0 上手腾讯 Hy4 Flash:5090 跑出 172 tok/s、1M 上下文
jesdga95 · reddit · 2026-11-20
Basalt 0.5.0 发布,新增对腾讯新发布的 Hy4 Flash 的支持:1M 上下文、动态视觉输入,NVFP4 单文件打包约需 95–100GB 内存,实测在 5090 + 5060 Ti 上散文生成约 84 tok/s、结构化输出约 172 tok/s,prefill 约 3450 tok/s。
作者初步印象:
- 吞吐低于 Flash Next:Hy4 Flash 每token激活权重约多一倍,缓存miss更多且代价高,预计还有 10–20% 优化空间
- 实际任务表现与 Flash Next 大致打平,数学略占优(激活参数更多、召回更好),但 Flash Next 同硬件快得多
- 量化损失明显:官方 Q4KM 对 BF16 的 top-1 一致率约 87% 以下,作者 NVFP4 版约 86%;对比 Flash Next NVFP4 可超 91%
- 1M 上下文和原生视觉是亮点,作者希望 Qwen 4 全系也能标配 1M
「Infra」频道最新
- AMD 股价一度暴跌 11%:做空机构指控固件流向中国黑名单服务器厂商 — rohanpaul_ai · 2026-11-20
- Rust 推理引擎 LexiEngine 跑 AMD 卡:27B 全 262k 上下文比 llama.cpp 快 47% — W61k3r · 2026-11-20
- Anthropic 需营收增17倍至6020亿美元才比肩科技同行回报 — GaryMarcus · 2026-11-20
- 每任务成本图:Claude Fable 5.2 花 54 美元,OpenAI 只要零头 — haider1 · 2026-11-20
- 担忧云端限流,Reddit 网友自建 1.75TB 本地 AI 保全档案 — nfored · 2026-11-20
- 传 Anthropic 仅用 3 天完成 AMD GPU 迁移,以往需 6-12 个月 — AccBalanced · 2026-11-20