本地推理会越来越多
tekbog · x · 2026-07-16
作者认为，手机上其实已经有不少小模型在跑，虽然它们体量小，但也能完成很多有价值的任务。 他进一步判断，随着硬件能力提升和软件优化，未来会有更多 LLM 在本地运行；并认为 Microsoft 的 Phi 系列路线是比较正确的方向。引用部分强调：大多数推理最终都会本地化，应该尽早把这一点纳入规划。
tekbog · x · 2026-07-16
作者认为，手机上其实已经有不少小模型在跑，虽然它们体量小，但也能完成很多有价值的任务。 他进一步判断，随着硬件能力提升和软件优化，未来会有更多 LLM 在本地运行；并认为 Microsoft 的 Phi 系列路线是比较正确的方向。引用部分强调：大多数推理最终都会本地化，应该尽早把这一点纳入规划。