单张 5090 跑出 2.3 万 tps 解码,自训模型成本降约 90%
jon_durbin · x · 2026-10-03
开发者 jondurbin 公布其模型训练 Kappa run 的初步结果与推理代码:以约 9T tokens 训练、参数量 576B checkpoint(Gated DeltaNet-2 架构),在 ARC-C、OBBA、TQA 等基准上超过 Llama 3.2 1B,并在 ARC-E、SciQ 等上接近持平,而每 token 成本便宜约 90%。
推理侧:在 vLLM 的 Parallax fork 中,单张 RTX 5090 高 batch 下解码速度约 23k tps(fp16 GDN2 可达约 28k tps),prefill 约 70k tps(视上下文长度)。训练中发现的问题包括 GDN2 某个 head 的 per-channel decay gate 下溢。llama.cpp fork、移动端推理与训练代码将陆续开源。
所属事件:开源预训练以十分之一成本追平 Llama 3.2 1B(3 条相关)→
「Infra」频道最新
- Anthropic 算力支出年增 4 倍超 OpenAI,Q3 单季烧 100 亿美元 — scaling01 · 2026-11-19
- 东南亚银行停贷,泰国数据中心协会称 12 个月内 GPU 订单取消额达 180 亿美元 — SumitGup · 2026-11-19
- Gridline 发布:微调、蒸馏、批量推理一站搞定,兼容 OpenAI 客户端 — Scobleizer · 2026-11-19
- 昇腾产能测算:明年或产 1920-2160 万颗,瓶颈在存储与封装 — teortaxesTex · 2026-11-19
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19