用预热缓存减少等待时间

t4a8945 · reddit · 2026-07-10

作者在本地 AI 编程工具 OpenFox 中尝试“speculative cache warming”。做法是在用户输入提示词时，提前把将要使用的 system prompt 和 tools array 送入模型上下文进行预热。这样真正发送提示词时，只需处理用户输入本身。