新指标显示密集模型在 bs=1 时受益显著
teortaxesTex · x · 2026-08-15
针对新的评估指标讨论，该指标关注在块大小为 k（如 9）时的活跃采样。观点认为这一指标特别适用于本地模型，并指出在 bs=1（批大小为 1）的场景下，密集模型从中受益最大。
「Infra」频道最新
- Polygres 将 Postgres 变为 Agent 扩展上下文 — Scobleizer · 2026-08-15
- vLLM 推出自适应验证，DSpark 推理性能优化 — vllm_project · 2026-08-15
- 开源追赶闭源：质量差距仅剩数月 — togethercompute · 2026-08-15
- Valar 核能创始人谈核能如何解锁能源无限 — No Priors · 2026-08-15
- 英伟达拟将对 OpenAI 数据中心的担保从 2500 亿降至 1200 亿 — rohanpaul_ai · 2026-08-15
- Cloudflare 上线 DeepSeek V4：首百万 token 上下文模型 — ritakozlov · 2026-08-15