自研三进制权重 K5 在 L4 上反超 FP8:prefill 提速 3.21 倍
Code_MasterCody · reddit · 2026-10-30
开发者 CodeMasterCody 发布 TKintegers:一种基于平衡三进制的权重表示(K5,5 个三进制数字、243 个取值、每码占 1 字节)、转换器与 GPU 推理实现,并给出基准结果。
- 在 Qwen2.5-0.5B-Instruct、固定匹配负载下:NVIDIA L4 上 K5 prefill 达 3402.85 tokens/s vs TorchAO 动态 E4M3 FP8 的 1061.58(3.21×);decode 26.75 vs 8.63 tokens/s(3.10×)。
- 亮点:L4 有原生 FP8 tensor core 却没有 K5 指令,K5 仍跑赢了这一 FP8 基线——说明表示+运行时设计可在现有硬件上取胜。
- 实现细节:kernel 展开有界 tile 计算,用 FP16 tensor core 操作数 + FP32 累加,部分张量保留高精度;基线为 eager PyTorch 下标准 TorchAO FP8,decode 用携带 KV cache 的固定 token forward 测量。
- 作者明确边界:结论仅限该模型/负载/实现,不构成对一切 FP8 运行时的胜利,且 FP16 对照组比两者都快;仓库含转换器、kernel、基准脚本与录像,欢迎独立复现。
所属事件:自研平衡三进制 K5 权重推理吞吐超 FP8 三倍(3 条相关)→
「Infra」频道最新
- 分析师:PC 下行释放先进制程晶圆,利好服务器 CPU 而非加速器 — BenBajarin · 2026-10-30
- 亚马逊营收 EPS 双双不及预期,AWS 增长 39.3% 仍被嫌不够 — Kr00ney · 2026-10-30
- 实测本地推理工具 Magnitude：号称比 llama.cpp 快 2 倍，中低端硬件未兑现 — OsmanthusBloom · 2026-10-30
- 富士胶片 6300 万美元扩产 100TB 磁带 5 倍，20 年来最大磁带投资 — ControlCAD · 2026-10-30
- Altman 称内存厂商每家年自由现金流可达千亿美元仍不肯扩产 — beffjezos · 2026-10-30
- 冲进 GPU kernel 榜前十：2 倍提速背后的 agent 搜索经济账 — JensHonack · 2026-10-30