ik_llama.cpp 新 PR：CPU 跑 2-bit 量化提速 45%，附完整复现指南
Any_Bus9205 · reddit · 2026-11-01
ikllama.cpp 的 PR #2785 为 Q20 张量（2.25 bpw，GSQ/RCO 低比特模型与三值权重的基础格式）引入 8 行重打包布局 Q20R8，配备专用 AVX2/AVX-VNNI 内核（dpbusd/maddubs），并修复旧版 Q20 奇数块计数 bug。
基准数据（i5-13420H，Ternary-Bonsai-2-4B Q20）：
- 原生 Q20：34.46 t/s（pp512）/ 9.56 t/s（tg128）
- 运行时重打包（-rtr）：49.99 / 11.64 t/s
- Q20R8 离线重打包：49.08 / 11.55 t/s
- 即 prompt 处理 +45%，生成 +22%，困惑度基本不变（13.0721 → 13.0763）
两种用法：
- 已有 Q20 GGUF 加 -rtr 标志，启动时在内存中动态重打包（推荐）
- 用 llama-quantize --repack 预先转成 Q20R8 文件
该优化针对近期 GSQ-RCO（如 ISTA-DASLab 系列）和三值权重模型的 CPU 推理场景，PR 页附完整编译与测试命令。
「Infra」频道最新
- Meta 股权融资扩至 975 亿美元创纪录,英伟达 AMD 认购 40 亿 — Beth_Kindig · 2026-11-01
- TrendForce 预测服务器 CPU 出货 2026 年增 31%,2027 年破 40% — Beth_Kindig · 2026-11-01
- 「家庭 GPU」盒子 WiFi 共享算力,跑 750B 模型约 8 token/s — takuonline · 2026-11-01
- ET-SoC-1 芯片交互式可视化:FMA 指令放大后长这样 — yaroslavvb · 2026-11-01
- 马斯克：Colossus 2 年底将部署约 120 万块 Blackwell GPU — scaling01 · 2026-11-01
- 六张 RTX 3090 加 256GB 内存，玩梗宣示本地模型 independence — gklambauer · 2026-11-01