投机解码两次演进：从稠密提速到 MoE 算力强度救星

YouJiacheng 梳理了投机解码角色的两次演进：最初它用于稠密模型小批量推理提速，以牺牲吞吐换取单请求延迟；第一次演进使其能提高算力强度；第二次演进则让它成为 MoE 架构下支撑算力强度的关键手段，摆脱了单纯提速的定位。

2026-09-10 ~ 2026-09-11 · 2 条相关

• 投机解码两次演进:从稠密小批量提速到撑起MoE算力强度 — YouJiacheng · 2026-09-10
• 投机解码两次演进：从稠密小批量提速到 MoE 算力强度救星 — chain_rules · 2026-09-11