网页 demo 近似复现 V4.1 flash 的 KV 快速预填充,跑在 Qwen3 上

T_rex2700 · reddit · 2026-09-11

Reddit 用户发现有人做出网页 demo(kishida.github.io/webdemos/llkvapprox),在 Qwen3 上近似实现了类似 Gemini V4.1 flash 的 KV 缓存快速预填充技术(近似 KV 压缩加速 prefill)。作者好奇该方案能否推广到 27B 规模模型,并邀请读者在页面直接试玩 Qwen3 demo。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →