2.8T 参数模型推理成本骤降：AMD MI355X 每百万 token 仅需 $1.75
scaling01 · x · 2026-07-31
开发者针对 2.8T 参数模型的推理成本进行了估算。根据推演，Luminal 在未来几个月内有望在 AMD MI355X 上实现 $1.75 / 百万输出 token 的极低成本，在 B300 上的成本则为 $2.92。尽管目前仍处于推算和测试编译阶段，但这预示着超大型模型的推理经济账正在迅速改善。
「Infra」频道最新
- 探秘投机解码的“有损验证”：机制、权衡与失败模式 — Tianyu Wang · 2026-07-31
- 单次AI提问与智能体工作流能耗相差十万倍 — AndyMasley · 2026-07-31
- Gemini 5.6 Luna缓存输入成本降至$0.02/百万Tokens — rudrank · 2026-07-31
- UBS 图表揭示 AI 算力供应链的核心枢纽格局 — BenBajarin · 2026-07-31
- 凑齐512GB显存：开发者组装双机8卡V100推理集群 — UltraFOV · 2026-07-31
- 开源 Rust 推理引擎 runNburn：内存受限下跑 295B 模型，短上下文解码比 llama.cpp 快 2.8 倍 — coderyeon · 2026-07-31