2-bit 量化 DeepSeek 4.1 Flash 本地实测：KDL 劣化明显却仍能用
bakawolf123 · reddit · 2026-10-23
Reddit 用户 bakawolf123 对本地 2-bit 量化的 ds4.1-flash-1017 做了与云端 API 的对比实测，灵感来自 X 上一条对比 opencode 跑 DeepSeek 官方 API 版 ds4.1 的讨论。- 测试耗时约 1.5 小时，跑满 450k 上下文（开启自动压缩），环境无 Playwright，改用 headless Chrome 完成验证。- 量化质量数据：原始模型→oQ2e 的 KDL 为 0.4259 nats，→oQ2.5e 为 0.2821 nats；困惑度从原始 3.7315 升至 oQ2.5e 的 4.1190、oQ2e 的 4.6333；2-bit 版 top-1 一致率 78.43%。- 作者对比此前 glm5.3-flash 的经验（校准与非校准量化 KDL 差 0.12 时质量差异肉眼可见），认为这次 2-bit 的劣化幅度理应更伤，但实际表现仍出乎意料地可用。
「Infra」频道最新
- VHA 注意力新方法：KV 缓存减 4 倍，长上下文 RULER 84.4 超 GQA 的 73.0 — pmttyji · 2026-10-23
- TensorSharp 跑 DeepSeek V4.1 Flash prefill 吞吐达 llama.cpp 4.4–5.5 倍 — fuzhongkai · 2026-10-23
- SauerkrautLM 发布 1.5M~115M 三档 MoE 稀疏检索器 — QuixiAI · 2026-10-23
- 亚马逊 CEO：年砸 2200 亿美元仍满足不了 AI 需求 — a16z · 2026-10-23
- 自建基础设施上部署 1T 参数模型季：开发者晒基建部署 — dejavucoder · 2026-10-23
- Liquid AI 发布 RIPL 推理引擎：整条 LLM 回复仅 30ms — JosephJacks_ · 2026-10-23