steeve 追问 antirez 推理项目：batch>1 时扩展性如何
steeve · x · 2026-11-08
steeve 被 antirez 的演示「吊起胃口」，追问其开源推理项目在 batch-size>1 时如何扩展。antirez 的回答（prefill 低是因为 prompt 短，大 batch 会切换 layer-major inference、速度接近全驻留）见同一对话线程，此处为该问答的引用转发版本。
所属事件:antirez 释疑本地推理：大 batch 自动切 layer-major(4 条相关)→
「Infra」频道最新
- Chamath：算力现货涨 2-3 倍，SpaceX 将用 90 天退出条款重定 Anthropic 合约价 — rohanpaul_ai · 2026-11-08
- 研究称数据中心对居民电价影响有限,此前指责或被夸大 — AccBalanced · 2026-11-08
- 纯 Rust 推理引擎 RTX 3060 跑 35B MoE 达 160 tok/s，比 llama.cpp 快 2 倍 — Serious_Scarcity7818 · 2026-11-08
- 5 万美元级礼物算什么：极客晒出 500 万美元 exabox 算力愿望清单 — gnukeith · 2026-11-08
- Dynatrace 9.15 亿美元完成收购 Arize，1100+ 客户跑其 Agent — shashib · 2026-11-08
- 单卡多 slot 并行跑 Qwen 提升总吞吐,作者求解上下文与任务拆分难题 — c2btw · 2026-11-08