本地模型上下文一长就慢，怎么做 map-reduce
gevezex · reddit · 2026-07-07
开发者分享本地运行大模型的经验：在 128GB 的 M5 Pro MacBook 上跑 qwen、deepseek、gemma 等模型时，瓶颈是上下文长度——对话一超过约 16k，推理就慢如蜗牛。他的应对策略是把任务切碎，每个子任务开一个全新的短会话，只把摘要/产出传给下一步。具体案例：夜间抓取多个来源、汇总信息后生成早报 dashboard。他在寻找真正支持「无状态 worker + 每次小上下文」模式的开源 agent 编排框架，并讨论 fan-out/fan-in、map-reduce 流水线与上下文压缩的实现。