远程做Prompt前处理
segmond · reddit · 2026-07-17
作者提出一种给“显存穷人”用的远程 prompt processing 思路： - 真正拖慢本地大模型体验的，往往不是生成速度，而是 **prompt processing（前处理）** 很慢；尤其在 partial/full CPU offloading 场景下更明显。 - 设想把长上下文的前处理丢给一台显存足够大的机器完成，保存中间状态后再传回主机继续 token generation。这样即使主机生成只有 5-10 tok/s，也能显著缩短长 prompt 的等待时间。 - 作者举例：50k tokens 在 10 tok/s 下要约 1.5 小时；如果用更强 GPU 先做 prompt processing，可能 1 分钟内完成，然后很快开始生成。 - 进一步设想把它做成共享服务：多个用户共用一台服务器只做 PP，通过 `curl/scp/bash` 就能拼起来，理想状态下再封装成 `--pp-server`。