Together Compiler 三大设计:持久引擎+并行成本模型破解吞吐保真两难

simran_s_arora · x · 2026-11-05

Together Compiler 之所以有效,源于三项针对吞吐-保真度权衡的关键设计:1) 分层持久引擎(Tiered Persistent Engine)——提出「持久引擎」新范式,引擎只启动一次即可热重载任意候选前向传播、无需重启;为让引擎持续有新优化可测,TKCC 生成多个 agent,通过消息板通信并行产出想法。2) 并行成本模型——为引擎选择理想并行配置面临同样的吞吐-保真权衡:逐个实测每配置不可行(软件实现常不成熟),朴素做法按裸硬件规格或微基准选型(帖文截断)。