硬件架构转向 BoardFly 拓扑以降低推理延迟

硬件架构讨论指出，为优化推理延迟，新设计增加了 SRAM 并将拓扑结构从 3D 环面改为 BoardFly，以最小化跳数。有观点指出延迟降低往往伴随价格大幅上涨，并解释这是因为混合专家模型需要更多通信和扩展互连支持，降低延迟的成本极为高昂。

2026-08-26 ~ 2026-08-26 · 2 条相关

• 专家混合模型降低延迟需付出高昂成本 — firstadopter · 2026-08-26
• 推理架构转向 BoardFly 拓扑以减少跳数 — firstadopter · 2026-08-26