开发者自研 KVA 投影器,本地推理 prefill 最高提速 1.85 倍
Public_Umpire_1099 · reddit · 2026-09-24
- Reddit 用户为 Qwen3.8 Flash Next 实现了受 DeepSeek V4.1 Flash 与 HySparse2/MiMo-V3 启发的 KVA 投影器（KV/激活预投影），在 2x R9700（128GB DDR5）本地环境跑通。
- 核心权衡：从不同层开始启用投影，速度与困惑度可调——layer 12 起 prefill 1700→3150 t/s（+8% ppl），layer 16 起 2900 t/s（+5%），layer 24 起 2500 t/s（+2.6%）。
- 与其他实现不同：每层用 Tikhonov 岭回归整映射（约 1.5GB 显存），只预测后层输入、由真实权重算 key/value；起始层可自选而非锁定 24 层。作者称继续训练收益几乎为零，关键在架构杠杆。
- 第二版多层投影器初步达 1.55x 提速仅 +2% ppl，作者认为可做到 1.5x 提速且 ppl 增加 <1%。V1 已稳定可直接在 R9V 使用，V2 需 --ced quality 开关，HF 已放出 IQ4XS 模型与投影器仓库。
「Infra」频道最新
- Starlink 美国城市用户增速 73% 反超农村，上传速度提升 42% — XFreeze · 2026-11-11
- Cloudflare 采用未经实战的共识算法 QuePaxa,替代 Raft/Paxos 建 Meerkat — sull · 2026-11-11
- 用 AI 扫遍全美废弃商场，改造成数据中心的脑洞 — LinusEkenstam · 2026-11-11
- Anthropic S-1 曝 260 亿美元私募：七大供应商按 IPO 价入股 — demian_ai · 2026-11-11
- AMD 10Q 披露收购 Taalas 花费 29 亿美元,将 LLM 权重烧进硬件 — deedydas · 2026-11-11
- SpaceXSI 1.2GW 燃气电厂获密西西比州环保许可,为 Colossus II 供能 — XFreeze · 2026-11-11