网页 demo 近似复现 V4.1 flash 的 KV 快速预填充,跑在 Qwen3 上
T_rex2700 · reddit · 2026-09-11
Reddit 用户发现有人做出网页 demo(kishida.github.io/webdemos/llkvapprox),在 Qwen3 上近似实现了类似 Gemini V4.1 flash 的 KV 缓存快速预填充技术(近似 KV 压缩加速 prefill)。作者好奇该方案能否推广到 27B 规模模型,并邀请读者在页面直接试玩 Qwen3 demo。
「Infra」频道最新
- OpenAI CFO:一年前买的算力如今市场价涨 3-5 倍,但仍然不够用 — rwang07 · 2026-09-11
- 讯飞星火X2.5全靠万卡国产910B训练,机器有效时长超97% — 机器之心 · 2026-09-11
- REVA 挖掘 LLM 历史注意力构建可复用证据视图,RAG 压缩开销降 5-15 倍 — _reachsumit · 2026-09-11
- Edge0-35B-A3B 预览版登 HF 热榜,主打边缘推理与 MoE 架构 — Edge0 · 2026-09-11
- Reflect Orbital 拟用卫星镜面「卖阳光」,首发卫星待发射 — kyliebytes · 2026-09-11
- 数据中心不是给巨头建,而是让初创公司有机会竞争 — arthurcolle · 2026-09-11