2.25bpw 极限量化 DeepSeek V4.1 本地跑分逼近官方 API
PhysicalIncrease3 · reddit · 2026-10-27
作者用 ISTA-DASLab 的 2.25bpw 极限量化版 DeepSeek-V4.1-Flash 对比官方 API,以 Humanities Last Exam 100 题文本子集做烟雾测试,本地平均 40.4 tok/s 跑了约 12 小时。
结果:本地 13 题严格正确 / 20 题语义正确,API 为 13 / 21;API 完成的 74 题中本地仅 2 题独对、API 4 题独对,双方错误答案相同或高度相似的多达 30+ 题。作者坦承测试方法缺陷:token 上限处理逻辑不同(API 会超时无输出)、只用 thinking high、样本小且方差大。
结论:2.25bpw 量化并未被「砍傻」,凡 API 能答的本地基本也能答;在 256k token 预算下两者表现应更接近。
「Infra」频道最新
- 布拉格实验室 BottleCapAI 发三款 ThinkingCap 模型，思考 token 最高省 69% — JFPuget · 2026-10-27
- 本地向量路由 100k 工具 top-1 达 70.7%、延迟 9.6ms，吊打 BM25 — Key_Coconut_9269 · 2026-10-27
- 单卡 RTX 3090 同时跑 4 个编码 agent，自研 CUDA 引擎达 290 tok/s — Adorable_Weakness_39 · 2026-10-27
- Google 联合 Red Hat/IBM 发布 llm-d 1.0,千级 Agent 实测分布式推理 — dl_weekly · 2026-10-27
- Transformers v5.21 发布：FP8 KV 缓存、MoE 分片与新 TTS 模型 — LysandreJik · 2026-10-27
- Anthropic S-1 算账：约 70% 算力投向内部研发而非客户 — scaling01 · 2026-10-27