平衡三进制 K5 权重推理实测：吞吐超 TorchAO FP8 三倍

Code_MasterCody · reddit · 2026-10-30

开发者发布 TKintegers，一套基于平衡三进制的权重表示、转换器与 GPU 推理实现。在 NVIDIA L4 上测试 Qwen2.5-0.5B-Instruct，K5（每权重用 5 个三进制位、243 个取值、占 1 字节）对比 TorchAO 动态 E4M3 FP8 基线：prefill 3402.85 vs 1061.58 tokens/s（3.21×），decode 26.75 vs 8.63 tokens/s（3.10×）——尽管 L4 只有原生 FP8 支持而没有 K5 指令。

实现上，kernel 将有界 tile 展开计算，用 FP16 tensor-core 操作数加 FP32 累加，部分张量保留高精度。作者诚实指出：结果仅限该模型与工作负载，不代表对所有 FP8 runtime 的胜利，且 FP16 对照组比两者都快。仓库含转换器、kernel、基准脚本与录像证据，欢迎独立复现。