Prime Intellect 驻留者开发 HINT4:让无 FP4 的老卡原生跑 NVFP4 量化

secemp9 · x · 2026-10-14

secemp9 在 Prime Intellect RL 驻留计划五个月后发布 HINT4 进展报告:一种「硬件不变」的 NVFP4 量化方法。

背景:NVIDIA 的 NVFP4(E2M1 + 块级 E4M3 scale + FP32 全局 scale,约 4.5 bit/权重)仅 Blackwell tensor core 原生支持;Ampere 等老卡只能走 NVFP4A16(weight-only,解包到 FP16 再乘),每次乘法都要先解码,速度受限。
思路:HINT4 把权重保持 4 bit,运算放到 8-bit 整数 tensor core 上——这是从 Ampere 到 Blackwell 唯一全线原生支持的 tensor core 指令族,从而在老卡上也能高效跑 4-bit 模型(如在 Kimi-Linear 48B 上)。
状态:3090 上的全模型评测仍在进行,最终质量/速度表、代码与论文将在第二份报告中随 repo 公开。

「Infra」频道最新