实验项目利用GPU纹理单元解码LLM权重，提速1.37倍
hp0303 · reddit · 2026-08-23
作者展示了项目"Texelator"，探索利用GPU现有的专用纹理硬件来解码低比特LLM权重。
技术细节：
- 原理：将权重存储为BC4块格式，在GEMV（矩阵-向量乘法）期间通过NVIDIA纹理单元进行重建。
- 性能表现：在RTX 4080上的当前设置中，实现了约1.37倍的加速。
- 局限性：目前仅在有限硬件上测试，作者邀请其他GPU架构的用户进行测试并提供反馈。
「Infra」频道最新
- Agent 感知基础设施兴起：通过缓存与调度优化推理效率 — _ScottCondron · 2026-08-23
- NVIDIA Feynman 互连技术解密：打破万亿参数训练数据瓶颈 — BenBajarin · 2026-08-23
- 若支持 Linux on Metal，苹果有望扩大消费级 AI 硬件优势 — StefanoGogioso · 2026-08-23
- 别只降压不测压：用训练脚本检测 GPU 稳定性 — Think_Wing_1357 · 2026-08-23
- 开启推理模式分值激增，Ornith 1.5 35B 实测 GPQA 提升至 81.8 — MikePFrank · 2026-08-23
- @bot 允许 Agent 在真实机器运行并托管站点 — Daniel_Farinax · 2026-08-23