voooooogel 回味 Character.AI 旧博文：MQA 等 KV cache 设计曾是重要情报
voooooogel · x · 2026-10-14
- 转发者 voooooogel 感慨：Character.AI 这家由 Transformer 作者 Shazeer 创办的「waifu ERP 公司」，在开源前沿还是 Llama 3（或 DeepSeek v2）的年代发布的博文，当时竟是很有价值的架构情报。
- 配图为 Character.AI 的《Memory-efficient Architecture Design》博文：用 Multi-Query Attention（KV cache 比 GQA 再省 8 倍）、混合局部/全局注意力（多数层用 1024 滑窗，仅 1/6 层全局）、跨层 KV 共享（再省 2-3 倍）三种手段，把 KV cache 压缩 20 倍以上而不掉点，使 GPU 显存不再是大批量推理瓶颈。
- 引用的 @pleometric 评论则批评 Character.AI 沉迷免费用户数据、在成人内容审核上摇摆犹豫，屡次错失机会。
所属事件:Character AI 提示词指南获赞，旧博文曾泄露 KV cache 架构情报(2 条相关)→
「Fun」频道最新
- 作者晒形式化证明成果,建议用 AI 拆解证明策略 — tak3sh8 · 2026-10-14
- 「哦不！」AI 生成被巨怪追着跑的视频又出圈了 — phusa29 · 2026-10-14
- 博主预言 16 周内将有事件震动世界,配 OpenAI 主题 AI 名人图 — flowersslop · 2026-10-14
- ML 论文难懂?研究者:很多作者写得太差还故意加复杂度 — gabriberton · 2026-10-14
- Y Combinator 登上 Jeopardy,成独立谜题分类 — ycombinator · 2026-10-14
- 5000+ 张照片:freebots 城里的机器人已开始自主拍照记录生活 — Daniel_Farinax · 2026-10-14