antirez 晒本地推理实测：README 尚未触发性能曲线最快区间
antirez · x · 2026-11-08
antirez 回复 steeve 关于多并行会话扩展性的提问：直接测多个并行会话不太方便，但他展示了一个「相当有说服力」的实际演示（视频），并指出 README 文件本身还不够大，不足以触发性能曲线中最快的那一段——暗示该项目在处理更大输入时还有进一步提升的空间。该推理项目已开源，同线程中他进一步解释了大 batch 下的 layer-major 推理机制。
所属事件:antirez 释疑本地推理：大 batch 自动切 layer-major(4 条相关)→
「Infra」频道最新
- Chamath：算力现货涨 2-3 倍，SpaceX 将用 90 天退出条款重定 Anthropic 合约价 — rohanpaul_ai · 2026-11-08
- 研究称数据中心对居民电价影响有限,此前指责或被夸大 — AccBalanced · 2026-11-08
- 纯 Rust 推理引擎 RTX 3060 跑 35B MoE 达 160 tok/s，比 llama.cpp 快 2 倍 — Serious_Scarcity7818 · 2026-11-08
- 5 万美元级礼物算什么：极客晒出 500 万美元 exabox 算力愿望清单 — gnukeith · 2026-11-08
- Dynatrace 9.15 亿美元完成收购 Arize，1100+ 客户跑其 Agent — shashib · 2026-11-08
- 单卡多 slot 并行跑 Qwen 提升总吞吐,作者求解上下文与任务拆分难题 — c2btw · 2026-11-08