探讨能否让 MoE 路由预测未来 5-10 个 token

Hot_Example_4456 · reddit · 2026-08-27

Reddit 用户提出技术疑问:能否让混合专家模型的路由器预测未来 5-10 个 token 所需的专家,从而实现从 RAM 到 VRAM 的专家缓存加速?或者是否可以训练一个小型神经网络来进行这种预测。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →