244 GiB 大模型冷启动实测：耗时约 154 秒
QuixiAI · x · 2026-07-30
QuixiAI 在回复中分享了针对 244 GiB 体量庞大模型的冷启动性能测试数据。数据显示，该模型在特定硬件环境下的冷启动加载时间约为 154 秒，并指出这一加载速度甚至超越了 llama.cpp 的表现。
「Infra」频道最新
- OpenAI：GPT-5.6 实现自我优化，推理成本降 20% — soumitrashukla9 · 2026-07-30
- SK海力士财报分析：AI内存需求强劲，市场过虑产能过剩 — tengyanAI · 2026-07-30
- 单机 8x 5090 实现 167k tokens/s 训练吞吐，超越 DDP 基线 — jon_durbin · 2026-07-30
- Buildcleaner 开源工具可清理 443GB 构建缓存，免费 MIT 许可 — jasonkneen · 2026-07-30
- 大模型推理成本骤降：B200 单价已跌破 3 美元 — AccBalanced · 2026-07-30
- 为逃避 API 费用狂攒 GPU，发现单张 5090 足以应对日常 — Ok-Shower7286 · 2026-07-30