llama.cpp 新后端 Strata 实测：解码速度从 80 提到 150 tok/s
lblblllb · reddit · 2026-11-03
作者此前用 llama server 跑 Qwen flash next 解码约 70-80 tok/s，换用 Strata 后直接翻倍到 150 tok/s。测试环境为 1 块 RTX Pro 6000 + 2 块 RTX 3090、256GB DDR4、Unsloth 6-bit 量化、160K 上下文；同环境下 DeepSeek v4.1 flash 2.25bit 也能跑到 70 tok/s。推荐还在用旧配置的人试试 Strata。
「Infra」频道最新
- 官方报告:中国模型日生成 token 超训练用量,日均 175 万亿 — pstAsiatech · 2026-11-03
- GitHub macOS runner 仍未修复 eMudhra CA 遭入侵漏洞，TLS 防护失效 — charliermarsh · 2026-11-03
- AI 助手 Sauna 为每个会话建独立库,靠 Turso 扛住 200 万数据库 — glcst · 2026-11-03
- MoE 排行榜现双峰：约 300 队靠 Vjeux 公开内核冲到 2.4 倍 — Vjeux · 2026-11-03
- AMD 财报前瞻:串读供应链电话会,服务器份额胜负在芯片与内存供应 — tengyanAI · 2026-11-03
- DeepSeek-V4.1-Flash 量化裁剪版冲上 Hugging Face 热榜 — ISTA-DASLab · 2026-11-03