Sable：单 GPU 92 秒证明 Qwen2.5-32B 逐位推理正确性
MoonMath-ai · hf · 2026-11-11
MoonMath.ai 发布开源系统 Sable，为「某个整数量化 transformer 确实从给定 prompt 逐位生成了给定 token 序列」这一命题生成密码学证明，让推理过程可验证。
核心设计
- 固定一个无浮点步骤的整数函数 FO：舍入、归一化、softmax、采样全部由输入决定，可逐位复现
- 约束系统基于 31 位 KoalaBear 素数，证明不会模回绕；零检查与 LogUp-GKR 查找批量合并进每次域上一次 sumcheck
- 用 Reed-Solomon 码 + BLAKE3 Merkle 树 + BaseFold 打开构建多元线性承诺，单 GPU 逐层流式证明
性能数据
- 单张 RTX PRO 6000 Blackwell：Qwen2.5-32B 64 层、4096 token 证明耗时 92.5 秒，16384 token 398 秒；也覆盖 Qwen3-32B 和 MoE 模型 Qwen3-30B-A3B
- 证明成本约为推理时长的 41-50 倍，约每 4096-token 请求 6.4 美分；单位参数/token 耗时比 zkLLM 快 40-64 倍
- 贪心解码与 BF16 模型在 WikiText-2 上 86.3% 位置一致；Qwen3 上 MMLU 差 1.6 分、GSM8K 差 1.7 分
- 验证器单 CPU 核 19-56 秒完成验证，round-by-round 可靠性错误 2^-103
证明非零知识，因此面向开源权重模型。代码已开源。
「Infra」频道最新
- 英伟达 22% 营收来自新加坡，仅约 1% 是本地买家 — Gregory_C_Allen · 2026-11-11
- 华为麒麟 9050 NPU 宣称手机离线跑 30B MoE 模型 — AIFlow_ML · 2026-11-11
- Stratechery 分析英特尔与 AMD 财报分野:英特尔需找回老路 — Stratechery · 2026-11-11
- a16z 播客:Mike Volpi 用 90 年代互联网基建潮类比当下 AI 建设 — a16z Podcast · 2026-11-11
- 阿里申请平头哥赴港上市，为 AI 战略筹资 — pstAsiatech · 2026-11-11
- AWS CEO:算力缺口将持续未来数年，需求远超供给 — firstadopter · 2026-11-11