RWKV-7 G1k 发布:纯 RNN 无 KV cache,13B 推理仅靠 16M 状态
cephaloform · x · 2026-10-04
RWKV 团队(BlinkDL)发布 RWKV-7 G1k 推理模型,100% RNN 架构,权重与 Demo 已开放。
- 13B 版本的推理全部发生在恒定大小的状态内(61×64×4096 ≈ 1600 万个数字),没有不断增长的 KV cache,作者称这个小状态就是模型的「内心世界模型」。
- RWKV 兼具 RNN 与 Transformer 优点:线性时间、恒定空间、训练快、上下文长度无限,且完全无 attention,是 Linux Foundation AI 项目。
- 生态相当成熟:7B/13B 在线 Demo、GGUF 与 Ollama 权重、RWKV-Runner GUI、9GB 显存即可微调 7B,还有高效推理项目(7B fp16 在 5090 上达 10250+ tps)。
「Infra」频道最新
- uv 作者自曝 fork 版工具链回放快 33%,磁盘省 60% — mitsuhiko · 2026-10-04
- 训练不稳别怪 fp16：cuDNN/FA4 反向传播精度有严重 bug — bdsqlsz · 2026-10-04
- 16GB 显存跑 27B 模型：NInfer 4080 推理引擎实测 262 tok/s — roofkid · 2026-10-04
- NeoCloud Summit 2026 将在旧金山办,GPU 原生云生态全员到齐 — AccBalanced · 2026-10-04
- Modal 工程师复用 K8s Reconciler 模型造 Gang Scheduler — emilyzsh · 2026-10-04
- 面对数据中心抗议潮,AWS CEO 称亚马逊已不再使用保密协议 — TechCrunch AI · 2026-10-04