OVH 自研 Olala Mini 7A1B:RTX 5090 单卡解码 360 tok/s、支持 96K 上下文
JiliJeanlouis · x · 2026-11-21
- 法国云厂商 OVH 创始人公布自研小模型 Olala Mini 7A1B(每 token 激活约 1B),在 B300 上跑出 220–380 tok/s,现已开放在线测试、对比与下载及技术文档。
- 性能表(RTX 5090):单路解码约 360 tok/s(TPOT 2.6–2.8ms),batch 128 达 7280 tok/s 总吞吐;上下文拉到 96K 解码仍有 285 tok/s;prefill 单路 1K prompt 仅 34ms,64 并发 1K prompt 达 50K tok/s。
- 路线图:v1.0 上下文 32K,6 周后的 v1.1 升到 128K 并改进数学;v2.0 将超 100B,主打 agent、devops 与安全场景。因激活极小,v1.0 号称无 GPU 也能跑 agent 任务,主要面向 OVH 客户与其本地/加密云产品线。
「Infra」频道最新
- 观点:押注 AI 保百年繁荣,美国却缺钱又缺实体供应链 — ZeroStateReflex · 2026-11-21
- NInfer-all 适配 Inkling 2 Mini,5090 上解码速度达 llama.cpp 两倍 — WaveCut · 2026-11-21
- Rust 无头浏览器 Obscura 开源:70MB 无 Chromium,兼容 Puppeteer — thisguyknowsai · 2026-11-21
- Reddit 网友称 Airbnb 用阿里开源 Qwen 日处理 8 万次客服对话 — mawcopolow · 2026-11-21
- 本地跑大模型问答 PDF 教程走红:离线可用,隐私宣称仍需细看 — alifcoder · 2026-11-21
- AMD 员工用 Gemini 驱动的 Loom 4 小时调优内核,Inkling-2-Mini 解码提速 1.9 倍 — sa1sr1 · 2026-11-21