一个稀疏矩阵设想：兼顾 Tensor Core 效率和更大隐藏维度

mgostIH · x · 2026-07-28

这条回复是在接一个关于“稀疏权重矩阵”和“更高的逻辑隐藏维度”的想法，作者进一步提出：可以稀疏地选择更小的 dense block，这样既能吃到稀疏结构的好处，又能利用现有 tensor cores。

他把这个思路形容成“矩阵的 mixture of experts”：不同矩阵块分别学习不同东西，最后带一点玩笑地说“这事儿真该有人认真想想”。